统计学习精要 (Elements of Statistical Learning ) 习题 5.9
发布时间
阅读量：
阅读量
统计学习精要 (Elements of Statistical Learning ) 习题 5.9
Derive the Reinsch form S_{\lambda} = (1 + \lambda K)^{-1} for the smoothing spline.
思路：
按照课本154页的（5.18）, \min_f (y-f)^T(y-f) + \lambda f^T K f , 其解是 \hat{f} = (I + \lambda K)^{-1} 。 替换 f = N \theta，罚项变为\theta^T \Omega_N \theta，则变为（5.11），解为（5.14）的\hat{f} = S_\lambda y。因此可以得到S = (I + \lambda K)^{-1}。
课本154页还提到了K does not depende on \lambda. 这里推一下的解析形式。
根据（5.14），S_\lambda = N(N^T N + \lambda \Omega_n)^{-1} N^T。
根据Matrix inversion lemma,
令 A = \lambda \Omega_N, U = N^T, V=N, C=I，则
.
替换 B = \lambda^{-1} N \Omega_N^{-1} N^T，代入则得
代入 S_\lambda (I + \lambda K) = I，可得
当 \lambda B K = I，等式成立，因此
所以 确实和没有瓜葛。
全部评论 (0)
还没有任何评论哟~