728x90

제 23강. 특이값 분할 ( SVD )

Singular Value Decomposition

SVD : $A = U Σ V^{T}$ for mxn matrix

$A^{T} A x = λ x$

$x^{T} A^{T} A x = λ | | x | |^{2}$

$= λ = \frac{| | A x | |^{2}}{| | x | |^{2}} \geq 0$ ( non zero positive = non negative )

$U x = λ x$

=> $| | U x | | = | | λ x | | = | λ | | | x | |$

=> $| | x | | = | λ | | | x | | => | λ | = 1$

$λ_{1} \geq λ_{2} \geq \dots \geq λ_{r} > 0$ and $λ_{r + 1} = λ_{r + 2} = \dots = λ_{n} = 0$

$A^{T} A$ -> nxn matrix

for eigenvalues. $λ_{r + 1} = λ_{r + 2} = \dots = λ_{n} = 0$

the corresponding eigenvectors ; $V_{r + 1}, V_{r + 2}, \dots, V_{n}$ -> Orthonormal

$A^{T} A V_{j} = 0, (j = r + 1, r + 2, \dots, n)$

$V_{j}$ is the basis of $N (A^{T} A) = N (A)$ in $R^{n}$

$V = [V_{1} V_{2}]$

다음 같이도 표현할 수 있다.

$A V = U Σ$

$A v_{i} = σ_{i} u_{i}$

$u_{i}$ 에 대한 항으로 만들어주면

$u_{i} = \frac{1}{σ_{i}} A v_{i}$

$A V_{1} = U_{1} Σ_{1}$ => $A = U_{1} Σ_{1} V_{1}^{T}$

( $V_{1}^{- 1} = V_{1}^{T}$ ) = orthonormal matrix

$U = [U_{1} U_{2}]$

그래서

$λ_{1} = 4 / λ_{2} = 0$

$σ_{1} = 2 / σ_{2} = 0$

eigenvector를 구하면

728x90