• Diễn giải ma trận hiệp phương sai
• Phân tích giá trị riêng
• Ma trận xác định dương, elipsoid
• Ước lượng bình phương tối thiểu

33.1. Diễn giải ma trận hiệp phương sai

Ta được cho [latex]m[/latex] điểm [latex]x_1, \cdots, x_m[/latex] trong [latex]\mathbb{R}^n[/latex]. Ta giả sử rằng trung bình và phương sai của dữ liệu được chiếu dọc theo một phương cho trước không thay đổi theo phương đó. Trong bài tập này, ta sẽ chứng minh rằng ma trận hiệp phương sai mẫu khi đó tỉ lệ với ma trận đơn vị.

Ta hình thức hóa điều này như sau. Với một phương đã được chuẩn hóa [latex]w \in \mathbb{R}^n[/latex] ([latex]||w||_2 =1[/latex]), ta xét đường thẳng có phương [latex]w[/latex] đi qua gốc tọa độ, [latex]\mathcal{L}(w)=\{tw: t\in \mathbb{R}\}[/latex]. Sau đó, ta xem xét phép chiếu của các điểm [latex]x_i[/latex], [latex]i = 1, \cdots, m[/latex], lên đường thẳng [latex]\mathcal{L}(w)[/latex], và xem xét các tọa độ tương ứng của các điểm trên đường thẳng đó. Các giá trị được chiếu này được cho bởi

[latex]\begin{align*} t_i(w) & :=\arg\min\limits_t ||tw-x_i||_2, \quad i = 1, \cdots, m. \end{align*}[/latex]

Ta giả sử rằng với bất kỳ [latex]w[/latex] nào, trung bình mẫu [latex]\hat{t}(w)[/latex] của các giá trị được chiếu [latex]t_i(w)[/latex], [latex]i = 1, \cdots, m[/latex], và phương sai mẫu [latex]\sigma^2(w)[/latex] của chúng, đều là \textit{hằng số}, không phụ thuộc vào phương [latex]w[/latex] (với [latex]||w||_2 =1[/latex]). Ký hiệu [latex]\hat{t}[/latex] và [latex]\sigma^2[/latex] là trung bình mẫu và phương sai mẫu (hằng số).

Hãy giải thích cẩn thận các câu trả lời sau.

1. Chứng minh rằng [latex]t_i(w) = x_i^Tw, \quad i = 1,\cdots, m.[/latex]

2. Chứng minh rằng trung bình mẫu của các điểm dữ liệu

[latex]\begin{align*} \hat{x} & :=\frac{1}{m} \sum\limits_{i=1}^m x_i, \end{align*}[/latex]

bằng không.

3. Chứng minh rằng ma trận hiệp phương sai mẫu của các điểm dữ liệu,

[latex]\begin{align*} \Sigma & := \frac{1}{m} \sum_{i=1}^m (x_i - \hat{x})(x_i -\hat{x})^T, \end{align*}[/latex]

có dạng [latex]\sigma^2 \cdot I[/latex], trong đó [latex]I[/latex] là ma trận đơn vị cấp [latex]n[/latex]. (Gợi ý: giá trị riêng lớn nhất [latex]\lambda_{\max}[/latex] của ma trận [latex]\Sigma[/latex] có thể được viết là: [latex]\lambda_{\max} = \max_w \{w^T\Sigma w: w^Tw=1\}[/latex], và một biểu thức tương tự cũng đúng cho giá trị riêng nhỏ nhất.)

33.2. Phân tích giá trị riêng

Cho [latex]p,q \in \mathbb{R}^n[/latex] là hai véctơ độc lập tuyến tính, với chuẩn đơn vị ([latex]||p||_2 = ||q||_2 = 1[/latex]). Định nghĩa ma trận đối xứng [latex]A: = pq^T + qp^T[/latex]. Trong các phép biến đổi của bạn, việc sử dụng ký hiệu [latex]c:=p^Tq[/latex] có thể hữu ích.

1. Chứng minh rằng [latex]p+q[/latex] và [latex]p-q[/latex] là các véctơ riêng của [latex]A[/latex], và xác định các giá trị riêng tương ứng.

2. Xác định không gian hạt nhân và hạng của [latex]A[/latex].

3. Tìm một phân tích giá trị riêng của [latex]A[/latex]. Gợi ý: sử dụng hai phần trước.

4. Giải các câu trên trong trường hợp [latex]p,q[/latex] không được chuẩn hóa.

33.3. Ma trận xác định dương, elipsoid

1. Trong bài toán này, ta xem xét diễn giải hình học của tính xác định dương của một ma trận. Với mỗi trường hợp sau, hãy xác định hình dạng của miền được tạo bởi ràng buộc [latex]x^TAx \leq 1[/latex].

[latex]\begin{align*} A_1 & = \left(\begin{array}{ll} 2 & 1 \\ 1 & 2 \end{array}\right) \\ \vspace{-20pt} A_2 & = \left(\begin{array}{cc} 1 & -1 \\ -1 & 1 \end{array}\right) \\ \vspace{-20pt} A_3 & = \left(\begin{array}{cc} -1 & 0 \\ 0 & -1 \end{array}\right) \end{align*}[/latex]

2. Chứng minh rằng nếu một ma trận đối xứng vuông [latex]A[/latex] cỡ [latex]n \times n[/latex] là nửa xác định dương, thì với mọi ma trận [latex]B[/latex] cỡ [latex]n \times k[/latex], ma trận [latex]B^TAB[/latex] cũng là nửa xác định dương. (Ở đây, [latex]k[/latex] là một số nguyên bất kỳ.)

3. Vẽ một elipsoid. Làm thế nào để vẽ một cách hiệu quả một elipsoid trong [latex]\mathbb{R}^2[/latex], nếu elipsoid được mô tả bởi một bất đẳng thức bậc hai có dạng

[latex]\begin{align*} {\bf E} & = {x^TAx+2b^Tx+c \leq 0}, \end{align*}[/latex]

trong đó [latex]A[/latex] là ma trận đối xứng xác định dương cỡ [latex]2 \times 2[/latex], [latex]b \in \mathbb{R}^2[/latex], và [latex]c \in \mathbb{R}[/latex]? Mô tả thuật toán của bạn một cách chính xác nhất có thể. (Bạn có thể cung cấp mã nguồn.) Vẽ elipsoid

[latex]\begin{align*} {\bf E} & = {4x_1^2 +2x_2^2 +3x_1x_2+4x_1+5x_2+3\leq 1}. \end{align*}[/latex]

33.4. Ước lượng bình phương tối thiểu

Tính chất BLUE của ước lượng bình phương tối thiểu. Xét một hệ phương trình tuyến tính với véctơ ẩn [latex]x[/latex]

[latex]\begin{align*} Ax & =y+v, \end{align*}[/latex]

trong đó [latex]v[/latex] là một véctơ nhiễu, và đầu vào là [latex]A \in \mathbb{R}^{m\times n}[/latex], một ma trận cao, có hạng đầy đủ ([latex]m \ge n[/latex]), và [latex]y \in \mathbb{R}^m[/latex]. Ta không biết gì về [latex]v[/latex], ngoại trừ việc nó bị chặn: [latex]||v||_2 \leq \alpha[/latex], với [latex]\alpha \ge 0[/latex] là một thước đo mức độ nhiễu. Mục tiêu của ta là cung cấp một ước lượng [latex]\hat{x}[/latex] của [latex]x[/latex] thông qua một ước lượng tuyến tính, tức là một hàm [latex]\hat{x} = By[/latex] với [latex]B[/latex] là một ma trận cỡ [latex]n \times m[/latex]. Ta chỉ xét các \textit{ước lượng không chệch}, là các ước lượng sao cho [latex]\hat{x} = x[/latex] khi [latex]v = 0[/latex]. Điều này ngụ ý rằng [latex]B[/latex] phải là một ma trận nghịch đảo trái của [latex]A[/latex], tức là, [latex]BA= I_n[/latex]. Một ví dụ về ước lượng tuyến tính thu được bằng cách giải bài toán bình phương tối thiểu

[latex]\begin{align*} \min\limits_x ||Ax-y||_2 \end{align*}[/latex]

Khi [latex]A[/latex] có hạng cột đầy đủ, nghiệm của bài toán có dạng [latex]x^* = B_{ls}y[/latex], với [latex]B_{ls} = (A^TA)^{-1} A^T[/latex]. Ta lưu ý rằng [latex]B_{ls}A=I[/latex], có nghĩa là ước lượng LS là không chệch. Trong bài tập này, ta chứng minh rằng [latex]B_{ls}[/latex] là ước lượng tuyến tính không chệch tốt nhất. (Điều này thường được gọi là tính chất BLUE – Best Linear Unbiased Estimator).

1. Chứng minh rằng sai số ước lượng của một ước lượng tuyến tính không lệch là [latex]x - \hat{x} = -Bv[/latex].

2. Điều này thúc đẩy ta tối thiểu hóa độ lớn của [latex]B[/latex], chẳng hạn bằng cách sử dụng chuẩn Frobenius:

[latex]\min\limits_B ||B||_F \text{ với điều kiện } BA=I.[/latex]

Chứng minh rằng [latex]B_{ls}[/latex] là ước lượng tuyến tính không chệch tốt nhất (BLUE), theo nghĩa là nó giải quyết bài toán trên.

Gợi ý: Chứng minh rằng mọi ước lượng tuyến tính không chệch [latex]B[/latex] có thể được viết dưới dạng [latex]B= B_{ls} +Z[/latex] với [latex]ZA=0[/latex], và rằng [latex]BB^T = ZZ^T + B_{ls}B_{ls}^T[/latex]. (Lưu ý gốc: Có thể có lỗi trong gợi ý, phép cộng ma trận có thể không đúng, nhưng [latex]Tr(BB^T) = Tr(ZZ^T) + Tr(B_{ls}B_{ls}^T)[/latex] là đúng).