13 Matrix Factorization

13.1 Matrix vs. Linear Transformation

다음은 $(x, y)$ 를 $(a x + b y, c x + d y)$ 의 새로운 공간으로 보내는 mapping 예시다.

mapping

이러한 변환 행렬은 정사각형을 사다리꼴로 변형시키는 것을 볼 수 있다. 이외에도 Linear tranform은 회전 변환이나 stretching도 가능하다.

(\begin{matrix} a & b \\ c & d \end{matrix}) (\begin{matrix} x \\ y \end{matrix}) = (\begin{matrix} X \\ Y \end{matrix})

(\begin{matrix} \cos θ & - \sin θ \\ \sin θ & \cos θ \end{matrix}) (\begin{matrix} x \\ y \end{matrix}) = (\begin{matrix} X \\ Y \end{matrix})

(\begin{matrix} s_{x} & 0 \\ 0 & s_{y} \end{matrix}) (\begin{matrix} x \\ y \end{matrix}) = (\begin{matrix} X \\ Y \end{matrix})

mapping

다음은 여러 벡터에 linear transform를 적용한 전과 후를 비교한 그림이다.

(\begin{matrix} 2 & 1 \\ 1 & 2 \end{matrix}) (\begin{matrix} x \\ y \end{matrix}) = (\begin{matrix} X \\ Y \end{matrix})

변환 전	변환 후

초록색과 빨간색 벡터는 변환 후 방향이 변하지 않았다. 이러한 벡터를 eigenvector라고 한다. 이때 바뀐 길이를 eigenvalue라고 한다.

A 𝐱 = λ 𝐱

eigenvector는 모두 수직으로 만난다.

n

개의 eigenvalues가 있고, 대응하는 $n$

개의 (normalized) eigenvectors가 있다고 하자.

λ_{1} \to v_{1} = (\begin{matrix} v_{11} \\ v_{21} \\ ⋮ \\ v_{n 1} \end{matrix}), λ_{2} \to v_{2} = (\begin{matrix} v_{12} \\ v_{22} \\ ⋮ \\ v_{n 2} \end{matrix}), \dots, λ_{n} \to v_{n} = (\begin{matrix} v_{1 n} \\ v_{2 n} \\ ⋮ \\ v_{n n} \end{matrix})

임의의 행렬(linear transform)에 대해 eigenvector, eigenvalue를 구할 것이다.

(\begin{matrix} 2 & 1 \\ 1 & 2 \end{matrix}) (\begin{matrix} x \\ y \end{matrix}) = λ (\begin{matrix} x \\ y \end{matrix})

변환 후 벡터의 방향은 동일하고 길이만 바뀐다면, 수식은 다음과 같다.

(\begin{matrix} 2 & 1 \\ 1 & 2 \end{matrix}) (\begin{matrix} x \\ y \end{matrix}) - λ \cdot 𝐈 (\begin{matrix} x \\ y \end{matrix}) = 0

(\begin{matrix} 2 - λ & 1 \\ 1 & 2 - λ \end{matrix}) (\begin{matrix} x \\ y \end{matrix}) = 0

이러한 일차 연립방정식이 무한히 많은 해를 가지려면, determinant는 0이어야 한다.

det (\begin{matrix} 2 - λ & 1 \\ 1 & 2 - λ \end{matrix}) = (2 - λ)^{2} - 1 = 0

λ = 3, (x, y) = (t, t)

λ = 1, (x, y) = (t, - t)

eigenvector는 방향을 의미하기 때문에 $(t, t)$ 과 같이 표기한다. (편의상 길이=1인 unit vector로 표현)

다음은 eigenvalue, eigenvector의 주요 성질이다.

Eigenvector는 서로 직교한다.
$A$ 가 $n \times n$ 행렬이면, $n$ 개의 eigenvalue와 eigenvector를 가진다. (이때 eigenvalue가 0일 수 있다.)
$A$ 가 대칭행렬(symmetric matrix)이면, 모든 eigenvalue는 non-negative이다.

다음은 $n$ 개의 eigenvectors를 column으로 모은 $S$ 행렬이다.

S = (v_{1} v_{2} \dots v_{n}) = [\begin{matrix} v_{11} & v_{12} & \dots & v_{1 n} \\ v_{21} & v_{22} & \dots & v_{2 n} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ v_{n 1} & v_{n 2} & \dots & v_{n n} \end{matrix}]

따라서 $S$ 벡터는 orthogonal matrix(직교 행렬)이다. ( $S^{T} S = I$ )

이어서, 행렬 $A$ 에 $S$ 벡터를 곱해보자.

A S = A (v_{1} v_{2} \dots v_{n}) = (A v_{1} A v_{2} \dots A v_{n})

= (λ_{1} v_{1} λ_{2} v_{2} \dots λ_{n} v_{n})

= (v_{1} v_{2} \dots v_{n}) (\begin{matrix} λ_{1} & 0 & \dots & 0 \\ 0 & λ_{2} & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & λ_{n} \end{matrix}) = S Λ

이처럼 대각선으로만 eigenvalue $λ$ 가 존재하는 $Λ$ 행렬로 decomposition된다. ( $A S = S Λ$ )

Notes: 이처럼 square matrix(정방 행렬)은 세 개의 행렬로 decomposition할 수 있다.

$S$ : invertible

$A = S Λ S^{- 1}$

$A = S Λ S^{T}$

수학적 증명은 다소 복잡하기 때문에 직관적인 설명으로 살펴보자.

A^{T} A = V Λ_{1} V^{T}, A A^{T} = U Λ_{2} U^{T}

이에 대해 $C^{T} C$ 를 계산하면 다음과 같다.

C^{T} C = (U Σ V^{T})^{T} U Σ V^{T} = V Σ^{T} U^{T} U Σ V^{T} = V Σ^{2} V^{T} = V Λ_{1} V^{T} = A^{T} A

정리하자면, 정방 행렬이 아닌 $A$ 도 $U Σ V^{T}$ 형태로 분해할 수 있다.

$Σ$ 행렬의 대각선 element를 singular value(특이값)라고 지칭한다.