斯坦福机器学习——降维
发布时间
阅读量：
阅读量
一、目的
减少特征的维度，是为了减小计算的复杂度，提高模型后期的训练速度。
二、PCA降维
基于原数据具有N个特征的前提，在经过矩阵T（维度为K\times N）的线性变换后，在新的空间中每个样本被转换成了一个K维空间中的点。通过协方差矩阵的最大特征值对应的特征向量来确定主成分方向，并认为这些方向能够最大限度地保持原始数据的信息。
三、奇异值分解
原理：任何矩阵M都可完成奇异值分解，并借助于其奇异值σigam以及U和V这两个单位正交阵列来表示data中的数据内容；具体而言，则有公式 M = U × σigam × V^T。
几何意义是：假设使用M矩阵对某数据向量进行线性变换，则V矩阵的列向量代表原始数据空间中的正交基底；而经过M矩阵作用后的U矩阵列向量则构成了新的正交基底。对于该数据向量而言，在V空间中其坐标表示为某一组数值，在经过M变换后切换至U空间时同样存在一组对应的坐标值。值得注意的是：U空间中的每一列向量 实际上记录了对应记录在主成分方向上的投影信息。
与主成分分析（PCA）之间的关系：在PCA中，投影矩阵即为U矩阵前K个列向量的转置所构成的部分；其中U矩阵中的各个列向量代表了新的正交基底向量组（即主成分的方向）。而奇异值分解则实现了对原始数据矩阵M的空间变换过程；具体而言，在这一过程中，在应用PCA分析时会将数据样本集所在的高维空间映射至低维子空间中；通过计算U_K^T \cdot M可获得降维后的样本点集合；同时U_K \cdot \Sigma_K \cdot V_K^T则构成了对原始数据信息的一种近似表示（亦可理解为原始数据集在低维空间上的重构结果）。
四、特征值分解和奇异值分解的异同
相同点：都可以用来降维；都可以提取矩阵的特征；
不同点：方阵和一般矩阵的区别；
第五章 机器学习中的数学——强大的矩阵奇异值分解(SVD)及其应用
全部评论 (0)
还没有任何评论哟~