Định lý phân tích giá trị suy biến (SVD)
| Một ma trận bất kỳ [latex]A \in \mathbb{R}^{m \times n}[/latex] có thể được phân tích dưới dạng
$$ trong đó [latex]U \in \mathbb{R}^{m \times m}, V \in \mathbb{R}^{n \times n}[/latex] đều là các ma trận trực giao, và ma trận [latex]S[/latex] là ma trận đường chéo: $$ với các số dương [latex]\sigma_1 \geq \ldots \geq \sigma_r>0[/latex] là duy nhất, và được gọi là các giá trị suy biến của [latex]A[/latex]. Con số [latex]r \leq \min (m, n)[/latex] bằng với hạng của [latex]A[/latex], và bộ ba [latex](U, \tilde{S}, V)[/latex] được gọi là một phép phân tích giá trị suy biến (SVD) của [latex]A[/latex]. [latex]r[/latex] cột đầu tiên của [latex]U: u_i, i=1, \ldots, r[/latex] (tương ứng [latex]V: v_i, i=1, \ldots, r[/latex]) được gọi là các véctơ suy biến trái (tương ứng phải) của [latex]A[/latex], và thỏa mãn $$ |
Chứng minh: Ma trận [latex]n \times n[/latex] [latex]A^T A[/latex] là ma trận thực và đối xứng. Theo định lý phổ, nó có một phép phân tích giá trị riêng dưới dạng [latex]A^T A=V \Lambda V^T[/latex], với [latex]V[/latex] là một ma trận [latex]n \times n[/latex] có các cột tạo thành một cơ sở trực chuẩn (tức là, [latex]V^T V=V V^T=I_n[/latex]), và [latex]\Lambda=\mathbf{diag}\left(\lambda_1, \ldots, \lambda_r, 0, \ldots, 0\right)[/latex]. Ở đây, [latex]r[/latex] là hạng của [latex]A^T A[/latex] (nếu [latex]r=n[/latex] thì không có số không ở cuối trong [latex]\Lambda[/latex]). Vì [latex]A^T A[/latex] là nửa xác định dương, các giá trị [latex]\lambda_j[/latex] là không âm, và ta có thể định nghĩa các đại lượng khác không [latex]\sigma_j:=\sqrt{\lambda_j}, j=1, \ldots, r[/latex].
Lưu ý rằng khi [latex]j>r, A v_j=0[/latex], vì khi đó [latex]\left\|A v_j\right\|_2^2=v_j^T A^T A v_j=\lambda_j v_j^T v_j=0[/latex].
Chúng ta xây dựng một ma trận trực giao [latex]U[/latex] kích thước [latex]m \times m[/latex] như sau: đặt
$$
u_i=\frac{1}{\sigma_i} A v_i, \quad i=1, \ldots, r .
$$
Các véctơ [latex]m[/latex] chiều này có chuẩn đơn vị và trực giao với nhau vì các [latex]v_j[/latex] là các véctơ riêng của [latex]A^T A[/latex]. Sử dụng quá trình trực giao hóa Gram-Schmidt, ta có thể bổ sung tập hợp véctơ này bằng các véctơ [latex]u_{r+1}, \ldots, u_m[/latex] để tạo thành một ma trận trực giao
[latex]U:=\left(u_1, \ldots, u_m\right) \in \mathbb{R}^m[/latex].
Ta hãy kiểm tra rằng [latex]U, V[/latex] thỏa mãn các điều kiện của định lý, bằng cách chỉ ra rằng
$$
U^T A V^T=\tilde{S}:=\mathbf{diag}\left(\sigma_1, \ldots, \sigma_r, 0, \ldots, 0\right).
$$
Ta có
$$
\left(U^T A V\right)_{i j}=u_i^T A v_j= \begin{cases}\sigma_j u_i^T u_j & \text { if } j \leq r \\ 0 & \text { otherwise, }\end{cases}
$$
trong đó dòng thứ hai có được do [latex]A v_j=0[/latex] khi [latex]j>r[/latex]. Do đó, [latex]U^T A V=\tilde{S}[/latex], như đã khẳng định.
