统计学习精要 (Elements of Statistical Learning ) 习题 3.21

统计学习精要 (Elements of Statistical Learning ) 习题 3.21

3.21 Prove that the solution to the reduced-rank regression problem (3.68), where Σ is estimated using Y^TY/N, is given by equation (3.69). Hint: Transform Y into Y^* = YΣ^{-1} and solve in terms of the canonical vectors u*. Show that U_m equals Σ^{-1/2} multiplied by U^*_m, and demonstrate that a generalized inverse is given by U_m^- equals U^{*T}_M multiplied by Σ^{1/2}.

思路：

(3.68) 是

其中R为拟合误差协方差矩阵。该问题可表述为在线性拟合中使用矩阵B受秩受限于m的情况下最小化其标准化误差的问题。此处若采用替代方案使用\frac{Y^TY}{N}代替，则其解即为此问题的一个可能解。

在下文部分中，在rank m的基础上将rank m替换成rank r，并将N视为一个新的矩阵仅通过符号调整来定义；为此需要先准备一个辅助定理。

定理一：设矩阵S为m \times n阶且秩为m；若寻求同维度矩阵P（其秩为r且满足r \leq m），使得目标函数tr[(S-P)^T (S-P)]达到极小值，则该矩阵P可表示为S N N^T；其中矩阵N具有大小n \times r且其列向量为SS^T的前r个标准化特征向量。

证明：
假定 P = M N^T，M \in R^{m \times r}， N \in R^{n \times r} 且 N^T N = I。则

因此 M=SN， 且 。代入则得

因此问题转化为

因此 是的前 个特征向量。

回归原题，

其中 Y^*=Y\Sigma^{ -\frac{1}{2} } ， B^*=B\Sigma^{ -\frac{1}{2} } 。

展开则可以得到

定义为S = (X^\top X)^{-\frac{1}{2}} X^\top Y^\ast，
记作P = (X^\top X)^{\frac{1}{2}} B^\ast，
则由定理一可得，
其前k个特征向量满足关系式：

P = S N N^\top

其中，

S^\top = Y^{*\top} X \left(X^\top X\right)^{-\frac{1}{2}} = \left(Y^\top Y\right)^{-\frac{1}{2}} \left(Y^\top X\right) \left(X^\top X\right)^{-\frac{1}{2}}

因此，
即为规范向量。

最终，在推导过程中我们得到了以下等式：(X^\top X)^{\frac{1}{2}} B^\ast = (X^\top X)^{-\frac{1}{2}} X^\top Y^\ast NN^\top；进而得到：B=(X^\top X)^{-1}X^\top Y\Sigma^{-\frac{1}{2}}NN^\top\Sigma^{-\frac{1}{2}})；这也与题目中所给的\hat B^{rr}(m)=\hat BU_muU_mu^{-}含义相同。