机器学习——矩阵和线性代数相关知识总结

方阵行列式

计算：n阶方阵的行列式等于它的任一行（或列）的各元素与其对应的代数余子式乘积之和。

代数余子式

余子式：在一个n阶行列式A中，把(\mathrm{i}, \mathrm{j})元素a_{ij}所在的第i行和第j列划去后，留下的n-1阶方阵的行列式叫做元素a_{ij}的余子式，记做M_{ij}。

代数余子式：A_{i j}=(-1)^{i+j} M_{i j}

行列式的计算：
A=\left(\begin{array}{lll}{a_{11}} & {a_{12}} & {a_{13}} \\ {a_{21}} & {a_{22}} & {a_{23}} \\ {a_{31}} & {a_{32}} & {a_{33}}\end{array}\right) \quad \forall 1 \leq i \leq n,|A|=\sum_{j=1}^{n} a_{i j} \cdot(-1)^{i+j} M_{i j}

伴随矩阵：对于n×n方阵的任意元素a_{ij}的代数余子式A_{ij}构成的方阵A^*。
A^{*}=\left(\begin{array}{cccc}{A_{11}} & {A_{21}} & {\cdots} & {A_{n 1}} \\ {A_{12}} & {A_{22}} & {\cdots} & {A_{n 2}} \\ {\vdots} & {\vdots} & {\ddots} & {\vdots} \\ {A_{1 n}} & {A_{2 n}} & {\cdots} & {A_{n n}}\end{array}\right)(A_{ij}为矩阵A^*的第j行第i列)

可以得到：
A \cdot A^{*}=\left(\begin{array}{cccc}{|A|} & {0} & {\cdots} & {0} \\ {0} & {|A|} & {\cdots} & {0} \\ {\vdots} & {\vdots} & {\ddots} & {\vdots} \\ {0} & {0} & {\cdots} & {|A|}\end{array}\right)=|A| \cdot I \Rightarrow A^{-1}=\frac{1}{|A|} A^{*}

矩阵乘法

矩阵与矩阵相乘：A为m×s的矩阵，B为s×n的矩阵，那么，C=A×B是m×n阶的矩阵，其中，c_{i j}=\sum_{k=1}^{s} a_{i k} b_{k j}。

矩阵与向量相乘：A为m×n的矩阵，\bold{x}为n×1的向量，则A\bold{x}是m×1阶的向量，记\vec{y}=A \cdot \vec{x}。（从n维到m维空间点的线性变换）

矩阵的秩

在m×n的矩阵A中任取k行k列，不改变每个元素在A中的相对位置，得到的k阶方阵称为矩阵A的k阶子式。

如果矩阵A有一个行列式不为0的r阶子式D，并且其所有的r+1阶子式（如果存在的话）的行列式都等于0，那么，D称为矩阵A的最高阶非零子式，r称为矩阵A的秩，记做R(A) =r。

• n×n的可逆矩阵，秩为n，称为满秩矩阵。
• 矩阵的秩等于它行（列）向量组的秩。

向量组

定义：对于由向量\left(a_{1}, a_{2}, \dots, a_{m}\right) 组成的向量组A和由向量\left(b_{1}, b_{2}, \dots, b_{n}\right)组成的向量组B，B组能由A组线性表示，则称两个向量组等价，得到系数矩阵K：

\left.\begin{array}{lllll}{\left(b_{1} \quad b_{2}\right.} & {\cdots} & {\left.b_{n}\right)=\left(a_{1}\right.} & {a_{2}} & {\cdots} & {a_{m}}\end{array}\right)\left(\begin{array}{cccc}{k_{11}} & {k_{12}} & {\cdots} & {k_{1 n}} \\ {k_{21}} & {k_{22}} & {\cdots} &{k_{2 n}}\\ {\vdots} & {\vdots} & {\ddots} & {\vdots}\\ {k_{m 1}} & {k_{m 2}} & {\cdots} & {k_{m n}}\end{array}\right)

正交阵

定义：若n阶矩阵A满足A^TA=I，则称矩阵A为正交矩阵，简称正交阵。
充要条件：A的列（行）向量都是单位向量，且两两相交。
正交变换：A为正交阵，\bold{x}为向量，则A\bold{x}称为正交变换。（不改变向量长度）

特征值和特征向量

对于n阶矩阵A，若数\lambda和n维非0列向量\bold{x}满足\mathrm{A\bold{x}}=\lambda \mathrm{\bold{x}}，则称\lambda为A的特征值，\bold{x}为A的对应特征值\lambda的特征向量。
\quad\quad\quad\quad(A-\lambda I) x=0 \quad\quad\quad\quad\quad |A-\lambda I|=0
性质：

• \lambda_{1}+\lambda_{2}+\ldots+\lambda_{n}=a_{11}+a_{22}+\ldots+a_{n n}（对角线元素和等于特征值之和，称为矩阵的迹）
• \lambda_{1} \lambda_{2} \ldots \lambda_{n}=|\mathbf{A}|
• \lambda^2是A^2的平均值（根据定义可证）
• A可逆时，\lambda^{-1}是A^{-1}的特征值（根据定义可证）
• 若特征值\lambda_{1}, \lambda_{2}, \ldots,\lambda_{m}各不相等，则对应的特征向量线性u_{1}, u_{2}, \ldots,u_{m}线性无关。
• 实对称阵的特征值是实数，特征向量是实向量，并且正交。
• 矩阵形式：A \cdot(u \quad v)=\left(\begin{array}{ll}{\lambda_{1}} & {0} \\ {0} & {\lambda_{2}}\end{array}\right)(u \quad v)（u,v是两个特征向量）
• 合同变换：P^{-1} A P=P^{T} A P=\Lambda（A为对称阵，P为特征向量组成的正交矩阵，\Lambda为特征值组成对角阵，可以由上式证明）

矩阵和向量求导

向量对向量求导：
\frac{\partial A \vec{x}}{\partial \vec{x}}=A^{T} \quad\frac{\partial A \vec{x}}{\partial \vec{x}^{T}}=A \quad\frac{\partial\left(\vec{x}^{T} A\right)}{\partial \vec{x}}=A

向量对标量求导：
\frac{\partial y}{\partial \vec{x}}=\frac{\partial\left(\vec{x}^{T} \cdot A \cdot \vec{x}\right)}{\partial \vec{x}}=\left(A^{T}+A\right) \cdot \vec{x}

标量对方阵的求导：
\frac{\partial|A|}{\partial A}=\left(A^{*}\right)^{T}=|A| \cdot\left(A^{-1}\right)^{T}