统计学习精要 (Elements of Statistical Learning ) 习题 5.13
统计学习精要 (Elements of Statistical Learning ) 习题 5.13
You have fitted a smoothing spline \hat{f}_\lambda to a sample of N pairs (x_i, y_i). Suppose you augment your original sample with the pair x_0,\hat{f}_\lambda(x_0), and refit; describe the result. Use this to derive the N-fold cross-validation formula (5.26).
思路：
由于smoothing spline 最终还是带罚项的最小二乘线性回归，因此我在这里仅推导等价的岭回归的形式，为了写着方便。
记\bar{X} = [X^T, x_0^T]^T和\bar{y}=[y^T,y_0]^T，那么可以得到
若按题目说的y_0是重复fit的，则
代入上式可得
其中
因此代入上式可得
因此，重复refit得到的结果是一样的。
接下来设f(x_0) = x_0 \beta和f(x_0)'=x_0\beta'，那么
其中S_{00} = x_0 (\bar{X}^T \bar{X} + \lambda I)^{-1} x_0^T。所以f(x_0)' = \frac{f(x) - S_{00}y_0}{ 1 - S_{00} } 。
最后我们得到\sum_{i=1}^N (y_i - f^{-i}(x_i) )^2 = \sum_{i=1}^N (y_i - \frac{f(x)-S_{i}{i} y_i}{ 1- S_{ii} } )^2 = \sum_{i=1}^N ( \frac{y_i - f(x_i)}{1-S_{ii}} )^2。