线性代数的本质
参考3Blue1Brown中的视频
1. 向量究竟是什么
物理角度:

在空间中表示为箭头(即具有大小和方向);平面内的向量具有二维特性(即由两个分量唯一确定),而空间中的向量则具有三维特性(即由三个分量唯一确定)。
计算机角度:

,有序的数字列表
数学角度:

,向量可以是任何东西,只要加法和数乘有意义即可
多种角度之间的联系:从物理学的角度分析向量;进而借助计算机科学的方法将向量以数字列表的形式表达出来(其中每个分量代表沿着相应坐标轴的方向和大小);
向量和点的区别:在表示形式上存在显著差异,在数学领域中,默认情况下采用不同符号来区分两者。对于向量而言,在书写时通常会将数值以垂直排列的方式并配合方括号进行标记;而对点而言,则是以水平排列的方式并配合圆括号进行标记。
在数学中,在该领域中,在该领域中,在该领域中,在该领域中,在该领域中的

2. 线性组合,张成的空间,基
基:任何一个向量,都可以看成基向量的数乘和
线性组合:两个向量数乘之和的结果,被称为两个向量的线性组合

线性空间:全部线性组合构成的向量集合,称为“张成的空间”
向量与点:用向量的终点代表某向量
线性相关即为一组向量中存在至少一个冗余的向量未对张成的空间作出任何贡献,并且移除其中一个不会减少张成的空间的大小。当这种情形出现时我们称这组向量'线性相关'
当每一个向量都能为所张成的空间引入一个新的维度时,则称这组向量'线性无关'
空间的基:张成该空间的一个线性无关的向量集合
3. 矩阵,线性变换
线性变换:
"变换"其实是"函数"这一专业术语的别名,在数学领域中被赋予了更为丰富的含义。它通过接收输入内容并进行相应的处理来输出结果,在线性代数中则专门处理向量空间中的映射关系。当我们提到"变换"时,则暗示着需要用动态的视角去理解其作用机制。
该应用仅专注于研究一种特定的易于理解的线性变换;虽然这些变换可能看起来非常复杂, 但它们必须满足两个关键条件: 首先, 直线在进行这种转换后仍然是直线, 无法有任何弯曲; 其次, 原点必须保持不动. 虽然这些条件看似简单, 线性代数所研究的内容却异常丰富, 因为即使在最简单的二维空间中, 这些条件也允许无数种不同的转换方式. 它只专注于研究一种特定的易于理解的线性变换; 而且, 这种转换的一个重要特征是网格线不仅保持平行且间距均匀分布
如何用数值来描述线性变换? 线性空间的变换本质上是由矩阵与向量相乘所实现的(即数乘与加法的结果)。 通过记录基向量在该变换后的坐标位置即可完成对整个空间变化的具体描述。



基本向量在二维空间中被转换后形成了相应的二维空间。每一个二维线性转换都可以通过四个数来决定其效果:具体来说,在i轴方向上进行转换后得到两个数值,在j轴方向上进行转换后也得到另外两个数值。将这些结果按照顺序排列形成一个2×2的方阵结构,则被称为转换矩阵(Transformation Matrix)。类似地,在三维空间中则需要九个这样的参数来完成相应的转化过程。
矩阵:矩阵仅仅是一个符号系统,并用于表示线性空间中的变换信息数据集;其各分量则对应于经过该变换后的基本向量集合。
线性变换是一种处理空间的方式,在观察到矩阵时,则将其视为对空间的特定影响。
4. 线性变换复合
复合变换:随后进行一个后续的操作,则形成一个新的复合操作;换句话说,在这种情况下,并非简单的乘积而是这两个独立操作的组合;需要注意的是乘积的方向是从右到左读取,并且类似于函数 f(g(x))。
二维空间中的概念,可以完美地推广到多维空间
5. 行列式
行列式:衡量线性变换如何影响空间中的形状及其体积变化程度。它表示的是在经过该变换后面积或体积的缩放因子。当行列式的值为零时,则表明该线性变换将三维空间压缩至二维平面(缩放因子降为零),进一步导致二维平面被压缩至一维直线(即仅存在长度而无宽度),最终可能使整个二维平面被映射至一个零维点上(即仅仅保持一个位置)。


6. 逆矩阵,列空间,秩,零空间
主要原因之一是它可以用来求解特定的线性方程组...在线性代数中它与矩阵向量乘法极为类似
逆矩阵:逆向变换的矩阵,称为逆矩阵
列空间(column space):由变换矩阵的columns vector所生成的空间与经过线性组合后得到的基础向量所生成的空间
秩(rank):列空间的维数,秩最多与列数相等(满秩)
Null space (null space):所有被该线性变换映射至零向量的空间集合也称为该矩阵的核
在不同维度之间进行转换是恰当且合理的安排。例如,在机器学习中我们经常遇到将二维数据映射到三维空间以提高模型性能的情况
7. 点积
点积:必须借助线性变换才能深入理解其本质--通过将左侧向量转换为矩阵这一操作,我们得以明确该矩阵所承载的信息相当于从多维空间到一维空间(数轴)进行了一次线性映射,这种映射将原始向量映射为一个标量数值
对偶性:两种数学概念之间自然而引人注目的对应关系,在数学领域中被广泛观察和研究。具体而言,在Vector与Space的关系中就体现了这一特性:每一个Vector都与其所定义的空间(从Multi-dimensional到One-dimensional的空间)上的Linear Transformation相联系;而每一个Multi-dimensional到One-dimensional Linear Transformation则对应着Multi-dimensionalSpace中的一个独特Vector.
点积是理解投影的有效几何工具,方便验证两个向量的指向是否相同
8. 叉积

叉积:平行四边形的面积
二维向量的叉积:两个向量组成的矩阵的行列式即为叉积
两个三维向量之间的叉积运算:通过运算生成一个新的三维向量,并满足以下条件:该结果向量的模长等于由这两个原向量所形成的平行四边形区域的面积;其方向垂直于包含这两个原向量所确定的平面
理想的情况是绘出一幅美景,让证明显而易见
9. 基变换
坐标系统:发生在向量与一组数之间的任何一种转化都被视为一个坐标系统每个这样的坐标系统都具有特定的一组基向量
基于不同基底的概念:不同的坐标系统实际上表示的是同一空间中的一个向量。其表现形式虽然有所差异(即通过不同的角度或基准来看待同一事物),但本质上描述的对象却是相同的。那么为何要做这种转换?
不同坐标系之间的转化:

非标准基下,逆时针旋转90°的变换矩阵:

10. 特征向量和特征值
eigenvector:A vector that remains invariant under a linear transformation within its own subspace is defined as an eigenvector; non-eigenvectors will undergo rotation under such transformations.
eigenvalue:在变换后特征向量的缩放比例
eigenbasis:特征向量作为基向量,特征基不一定是对角矩阵
对角矩阵:表示为--所有基本向量都是其对应的特征向量;每个对角线元素即为其所属的特征值(基本向量与其对应特征值相乘);在多个领域中使用时会更加容易处理
如果一个变换拥有足够多的特征向量,并且幸运地能够张成整个空间,则你可以将坐标系重新定义为以这些特征向量为基底的新坐标系,在这种情况下,
E^{-1}AE 就是同一个线性变换,
即从由这些基向量构成的新坐标系看来,
它表现为一种简单的形式——即E^{-1}AE 为对角矩阵,
其中对角元素就是该线性变换对应的特征值。
这一过程的意义在于,
通过使用这些特征向量,
我们可以将复杂的线性运算转化为简单地计算其幂,
因为E^{-1}AE 是一个对角矩阵。
然而并非所有的线性变换(矩阵)都可以被成功地对角化,
举个例子来说,
斜切(shear)这种剪切操作就无法被分解为仅由其对应的单个方向上的伸缩操作,
因为它所具有的足够的独立方向上的伸缩操作数量不足。




然而有些二维线性变换没有对应的特征向量;比如90度旋转矩阵的情况。但是当这种情况出现时会有一个对应的特征值但其对应的特征向量并不位于同一条直线上;比如如果将整个空间中的每个向量都乘以2的结果。
