MF+Matrix Factorization+矩阵分解

矩阵分解是将矩阵拆解为数个矩阵的乘积，常见的包括LU分解、QR分解和奇异值分解（SVD）。LU分解将矩阵分解为一个下三角矩阵和一个上三角矩阵的乘积，常用于求解线性方程组；QR分解将矩阵分解为一个正交矩阵和一个上三角矩阵的乘积，用于最小二乘问题；SVD分解将矩阵分解为三个矩阵的乘积，广泛应用于降维、压缩和数据处理。这些方法在机器学习、数据挖掘和推荐系统中具有重要作用。

MF+Matrix Factorization+矩阵分解

Matrix Factorization

Matrix Decompostion

LU分解，QR分解，SVD分解，，，，

非负矩阵分解

概念：

正定矩阵

正交矩阵

上，下三角矩阵

矩阵分解包括三角分解、满秩分解、QR分解、Jordan分解以及SVD分解等，其中三种最为常用：三角分解用于简化矩阵运算，满秩分解适用于秩亏矩阵的处理，QR分解则常用于数值计算中的正交化过程，而SVD分解则在数据降维和矩阵伪逆计算中具有重要应用。

三角分解法，即Triangular factorization，是一种系统性地分解矩阵的方法，广泛应用于科学计算和工程领域。

2)QR 分解法 (QR Factorization)，

奇异值分解(Singular Value Decomposition)是一种重要的矩阵分析工具，常用于数据降维和特征提取。

三角分解法是一种将原正方矩阵分解为一个上三角矩阵或经过重新排列的上三角矩阵与一个下三角矩阵组合的方法，这种分解方式通常被称为LU分解法。其主要用途包括简化大型矩阵的行列式计算、求逆以及解决联立方程组等问题。需要注意的是，通过这种分解法得到的上下三角矩阵并非唯一，还存在多个不同的上下三角矩阵对，这些不同的一对上下三角形矩阵相乘同样会还原为原矩阵。

QR分解法是一种将矩阵分解为正交矩阵与上三角形矩阵组合的方式，因此被称为QR分解法，这一过程与通用符号Q紧密相关。

奇异值分解（singular value decomposition，SVD）是一种正交矩阵分解法；相对于QR分解法而言，SVD方法更为可靠，但其计算时间大约是QR分解的十倍。通过调用函数[U,S,V]=svd(A)，可以分别获得两个正交矩阵U和V，以及一个对角矩阵S。与QR分解法相似，原矩阵A无需为方阵即可进行分解。SVD方法的主要应用领域包括最小二乘误差解算和数据压缩技术。

QR****分解

矩阵的正交分解也被称为QR分解，表示为一个正交矩阵Q与一个上三角矩阵的乘积的形式。

任何实数方阵A都可以分解为A=QR的形式。其中Q为正交矩阵，满足Q的转置乘以Q等于单位矩阵I。R是一个上三角矩阵，具有非零元素仅位于对角线及其上方。这种分解方法通常被称为QR分解。

QR分解涉及多种算法，其中典型的是Gram–Schmidt、Householder和Givens方法。

QR分解主要通过将矩阵表示为一个正交矩阵与上三角矩阵的乘积来实现。通过一张图，我们可以形象地表示QR分解：

这其中， Q为正交矩阵，R为上三角矩阵。

实际中，QR分解经常被用来解线性最小二乘问题。

****计算方法：

LU****分解---三角分解

矩阵的LU分解是将一个矩阵分解为一个下三角矩阵与上三角矩阵的积的形式。本质上，LU分解是高斯消去法的一种表达方式。首先，通过初等行变换将矩阵A转化为一个上三角矩阵。对于学习过线性代数的同理，这个过程应该是再熟悉不过的，线性代数考试中计算行列式和求逆矩阵一般都是通过这种方式来完成的。然后，将原始矩阵A转化为上三角矩阵的过程，所用的变换矩阵是一个下三角矩阵。整个过程，就是Doolittle algorithm（杜尔里特算法）。

。。。。

在科学计算中，LU分解是一种非常有用的工具，广泛应用于求解线性方程组、求逆矩阵以及计算行列式。在计算行列式时，尤其是对于三角矩阵，行列式的计算特别简便，只需将对角线元素相乘即可。通过LU分解，矩阵被分解为一个下三角矩阵和一个上三角矩阵的乘积，这样计算行列式就变得非常容易。

在线性代数领域已知，若方阵为非退化矩阵，即其行列式|A| \neq 0，则总能进行LU分解。

。。。。。。。

在大多数情况下，当我们对矩阵Σ中的奇异值进行降序排列后，很容易就能发现，这些奇异值σ的减小速度非常快。在许多实际应用中，前10%甚至前1%的奇异值之和占据了全部奇异值和的99%以上。

二，SVD分解的应用

**1.**降维

从上述公式可以看出，原本矩阵A的特征具有n维。而通过奇异值分解，矩阵A的主要特征可以表示为前r个非零奇异值对应的奇异向量。从而实现了降维的效果。

**2.**压缩

通过查看上面的式子，配合分析第三部分的图示，也能够清晰地看出，在进行SVD分解后，我们仅需存储U、Σ、V这三个较小规模的矩阵即可。这些较小矩阵的总和明显小于原始矩阵A的规模。这自然实现了数据压缩的目的。

参考文献：MF系列一，涵盖从矩阵分解到概率矩阵分解的发展。

推荐学习该算法，采用矩阵分解方法进行推荐。

参考：矩阵分解---QR正交分解，LU分解

参考：SVD分解和QR分解—Apple的学习笔记

参考：