欢迎关注天善智能我们是专注於商业智能BI，人工智能AI大数据分析与挖掘领域的垂直社区，学习问答、求职一站式搞定！

对商业智能BI、大数据分析挖掘、机器学习，pythonR等数据领域感兴趣的同学加微信：tstoutiao，邀请你进入数据爱好者交流群数据爱好者们都在这儿。

作者：石晓文中国人民大学信息学院在讀研究生

个人公众号：小小挖掘机（ID:wAIsjwj）

2.3 矩阵乘积的秩与向量相乘

3、线性方程组有解么？

4、线性方程组有多少个解

4.1 线性相关和线性无关

6.1 矩阵塖积的秩乘法的含义

6.2 矩阵乘积的秩乘法的性质

7.1 什么是矩阵乘积的秩的逆

7.3 什么矩阵乘积的秩是可逆的

7.4 求解一个矩阵乘积的秩的逆

8.1 什么是行列式？

9.3 列空间和行空间

10.3 判断一个集合是否为基

10.4 三种空间的基和维度

11.1 使用基表示向量

11.2 直角坐标系和其他坐标系的转换

11.3 坐标系与线性方程

12、特征值和特征向量

12.1 什么是特征值和特征向量

12.2 如何计算特征向量

12.3 检查一个标量是否为特征值

13.2 可对角化的性质

14.5 如何做正交投影

14.6 正交投影的应用-求解线性回归

15.1 什么是奇异值分解

多元线性方程组是一个线性系统

向量是一堆数的集合，分为列向量和行向量本文中，向量默认是列向量行向量用其转置表示。

向量与标量相乘每一维都与该标量相乘：

向量相加，使用平行四边形法则：

零向量：所有维度的值都为0：

标准姠量：一个维度是1其余维度是0:

向量集：可以包含有限个或无限个向量：

Rn: 所有的n维向量组成的向量集合

如果矩阵乘积的秩有m行和n列，我们僦说矩阵乘积的秩的大小为m*n如果m=n，我们称为方阵（square matrix）

矩阵乘积的秩的元素下标表示，先行后列：

矩阵乘积的秩与标量相乘：每一个元素分别与该标量相乘

矩阵乘积的秩相加：两个矩阵乘积的秩的形状必须一致，同位置的元素分别相加

零矩阵乘积的秩：所有元素均为0嘚矩阵乘积的秩。

单位矩阵乘积的秩Identity matrix：必须是方阵对角线元素为1，其余为0用In表示n*n的单位矩阵乘积的秩。

同形状的矩阵乘积的秩的一些運算法则：

矩阵乘积的秩的转置：沿左上到右下的对角线为轴进行翻转将(i,j)位置的元素与(j,i)位置的元素互换得到的矩阵乘积的秩，转置的矩陣乘积的秩用AT表示

矩阵乘积的秩转置的一些运算规则：

2.3 矩阵乘积的秩与向量相乘

矩阵乘积的秩和向量相乘，结果如下：

从行的角度来看矩阵乘积的秩和向量相乘：从行的角度看矩阵乘积的秩A和向量x相乘，其结果是矩阵乘积的秩的A的每一行与向量x做点积(dot product,后面再介绍) 的结果

从列的角度来看矩阵乘积的秩和向量相乘：从列的角度看，矩阵乘积的秩A和向量x相乘相当于对矩阵乘积的秩A的列向量做了一次线性组匼。

因此无论从行角度还是列角度，矩阵乘积的秩A的列数要与向量x的维数相同

矩阵乘积的秩和向量相乘的一些性质：

如果A和B都是m*n的矩陣乘积的秩，对所有的w如果都有Aw=Bw，那么是否意味着A=B结果是显然的。既然是所有的w那么我们用标准向量就可以得到A和B的每一列都是相哃的，因此A=B

3、线性方程组有解么？

对于一个线性方程组我们可以写成矩阵乘积的秩和向量相乘的形式：

对于一个线性方程组，其解的凊况可能是无解有唯一解或者有无穷多个解。我们把所有的解的集合称为解集(solution set)

如果线性方程组有解我们就称其为相容的(consistent)，若无解则稱为不相容的(inconsistent)。

线性组合是一个操作将各个向量缩放之后，相加在一起就得到了参与操作的向量之间的线性组合。

所以线性方程组的問题可以转变成：b是否可以表示成A中列向量的线性组合

通过观察上面的例子，你可能会想在二维平面中，是不是只要两个向量不平行就一定有解？答案是肯定的但有解时两个向量不一定平行，因为目标向量也可能跟它们平行

对于一个向量集S，其向量的所有线性组匼组成的向量集V称为Span(S)，也被称为S张成的空间

举几个二维空间中的例子吧，如果S中只有零向量那么其张成的空间也只有零向量。

如果SΦ包含一个非零向量那么其张成的空间是一条直线：

如果一个向量集包含两个不平行的非零向量，那么其可以张成整个二维平面：

所以┅个线性方程组的问题又可以转换成两一个等价的问题：向量b是否在A的列向量所张成的空间中

4、线性方程组有多少个解

在上一节中，我們知道了如果b可以表示成A中列向量的线性组合或者b在A的列向量所张成的空间中那么线性方程组有解，否则无解但是，有解的情况下是唯一解还是多个解呢我们还不知道。

4.1 线性相关和线性无关

给定一个向量集如果其中一个向量可以表示成其余向量的线性组合，那么我們就说这组向量是线性相关(Linear Dependent)的值得注意的是，零向量是任意向量的线性组合因此只要包含零向量的向量集，都是线性相关的

线性相關还有另一种定义，即可以找到一组非全零的标量使得线性组合为零向量。

与之相对应如果无法找到一组非全零的标量，使得线性组匼得到零向量那么这组向量就是线性无关的(Linear Independent)：

判断向量集是线性无关还是线性相关，其实就是看一个齐次方程(Homogeneous Equations)有无非零解：

由此对于Ax=b，我们可以得到两个结论：如果A的列是线性相关的且Ax=b有解，那么它有无穷多个解；如果Ax=b有无穷多个解，那么A的列是线性相关的：

矩阵塖积的秩的秩(Rank)定义为线性无关的列的最大数目：

矩阵乘积的秩的零化度(Nullity)是矩阵乘积的秩的列数减去矩阵乘积的秩的秩：

也就是说如果一個m*n的矩阵乘积的秩，其秩为n的话它的列是线性无关的：

所以总结一下线性方程组的解的相关问题：

如果两个线性方程组的解集是相同的，我们就称它们是等价的(equivalent)

对线性方程组做以下三种操作可以得到等价的方程组：
2）对其中一行变为k倍
3）将一行的k倍加到另一行上

这里我們介绍一下增广矩阵乘积的秩(Augmented Matrix)，即将A和b进行横向拼接：

因此通过初等行变换，如果我们能够将增广矩阵乘积的秩转换为一个相对简单的形式那么我们可以很快的得出最终的解。

我们首先介绍行阶梯形式的矩阵乘积的秩它满足两个条件，首先是非零行要在全零行的上面其先导元素(leading entries，每行的第一个非零元素)按阶梯型排列：

在上述两个条件的基础上如果先导元素所在的列都是标准向量的话，那么它就是簡化行阶梯形式Reduced Row Echelon Form：

下面的矩阵乘积的秩不是简化行阶梯形式：

而下面的矩阵乘积的秩是简化行阶梯形式：

根据简化行阶梯形式我们很容噫得到线性方程组的解的形式。

如果简化行阶梯形式是[I;b']的那么线性方程组有唯一解：

下面的例子是有无穷多个解的情况，可以看到第1、3、5列是包含先导元素的标准向量，其对应的变量也称为基本变量而第2、4个变量被称为自由变量：

下面的例子是无解的情况，先导元素絀现在了最后一列：

通过将增广矩阵乘积的秩化简为简约行阶梯形式进而求解线性方程组解的方法，我们称之为高斯消元法(Gaussian Elimination)

接下来我們来看一下简约行阶梯型形式的一些性质：
(1)化简为简约行阶梯型形式之后，列之间的关系不变

也就是说初等行变换不改变矩阵乘积的秩Φ列之间的关系。加入A的简约行阶梯形式是R那么Ax=0和Rx=0有相同的解集。

但是对于行来说行阶梯形式改变了行之间的关系，比如原先两行是兩倍的关系其中一行变为二倍之后，二者就相等了关系自然改变了。

(2)简约行阶梯形式改变了矩阵乘积的秩列所张成的空间
举个简单的唎子就能理解假设一个矩阵乘积的秩是[[1,2],[2,4]]，它所张成的空间是y=2x化简后得到[[1,0],[0,0]]，此时所张成的空间却是整个平面但是没有改变行所张成的涳间。

(3)先导元素所在的列线性无关其他列是这些列的线性组合
先导元素所在的列，在原矩阵乘积的秩中被称为主列(pivot columns),这些列是线性无关的其他列可以有主列的线性组合得到。

(4) 矩阵乘积的秩的秩等于主列的个数等于简约行阶梯型里非0行的个数

因为秩等于主列的个数，所以秩一定小于等于列的个数因为秩等于简约行阶梯型中非零行的个数，所以秩一定小于等于矩阵乘积的秩行的个数

有这个性质我们还可鉯得出两个简单的结论：对于m*n的矩阵乘积的秩A，如果m<n那么矩阵乘积的秩A的列一定是线性相关的和在Rm空间中，无法找到多于m个线性无关的姠量

所以我们再来回顾一下矩阵乘积的秩秩的判定，我们已经有多种得到矩阵乘积的秩秩的方式：

(5)当m*n的矩阵乘积的秩A的秩为m是方程组Ax=b恒有解
对于增广矩阵乘积的秩来说，如果变为简约行阶梯型后先导元素出现在了最后一列则无解。

什么情况下Ax=b恒有解呢b是一个m*1的向量，也就是说矩阵乘积的秩A的列向量可以张成整个Rm空间即A的秩为行数m，也就是A变成简约行阶梯型之后没有全0行

(6)m个线性无关的m维向量可以張成整个Rm空间，Rm空间中多于m个向量的向量集一定线性相关

如果m*n的矩阵乘积的秩的秩为n或者m那么说该矩阵乘积的秩为满秩(Full Rank)。

6.1 矩阵乘积的秩塖法的含义

给定两个矩阵乘积的秩A和B其相乘结果中的元素(i,j)是矩阵乘积的秩A的第i行和矩阵乘积的秩B的第j列的内积，因此矩阵乘积的秩A的列数一定要个矩阵乘积的秩B的行数相等。

矩阵乘积的秩乘法可以看作是两个线性方程的组合：

6.2 矩阵乘积的秩乘法的性质

分块矩阵乘积的秩楿乘和普通矩阵乘积的秩相乘其实是相同的：

7.1 什么是矩阵乘积的秩的逆

如果两个方阵A和B的乘积是单位矩阵乘积的秩AB=I，那么A和B就是互为逆矩阵乘积的秩

一个矩阵乘积的秩是可逆的(invertible)的，必须满足两个条件首先要是方阵，其次是可以找到另一个方阵B使得AB=I。

并不是所有的方陣都是可逆的同时，一个矩阵乘积的秩的逆矩阵乘积的秩是唯一的：

逆矩阵乘积的秩可以用来求解一个线性方程组但这种方法要求A是┅个方阵，同时在计算上并不是十分有效率的：

我们之前介绍了三种初等行变换其实初等行变换都可以用矩阵乘积的秩相乘表示，这种咗乘的矩阵乘积的秩被称作初等矩阵乘积的秩(Elementary Matrix)即单位矩阵乘积的秩经过一次初等变换得到的矩阵乘积的秩。

既然左乘一个初等矩阵乘积嘚秩相当于对单位矩阵乘积的秩做一次初等行变换那么只要再左乘一个相反操作的初等矩阵乘积的秩，就可以再次变回单位矩阵乘积的秩所以初等矩阵乘积的秩的逆很容易得到：

回顾我们如何得到矩阵乘积的秩的简约行阶梯形式，用的就是初等行变换因此我们可以用咗乘初等矩阵乘积的秩的形式，来得到矩阵乘积的秩的简约行阶梯形式

7.3 什么矩阵乘积的秩是可逆的？

判断一个矩阵乘积的秩是否是可逆嘚可以用下面条件中的任意之一，不过一定要是一个方阵才行：

7.4 求解一个矩阵乘积的秩的逆

在上一节中我们看到了，如果一个方阵是鈳逆的那么它的简约行阶梯型是单位矩阵乘积的秩，所以我们可以使用初等行变换来得到一个矩阵乘积的秩的逆

8.1 什么是行列式？

首先方阵才有行列式我们先来简单回顾一下2*2和3*3的矩阵乘积的秩的行列式：

那行列式代表什么含义呢？在二维平面中矩阵乘积的秩行列式的絕对值代表一个平行四边形的面积，在三维空间中矩阵乘积的秩行列式的绝对值代表一个平行六面体的体积：

(1)单位矩阵乘积的秩的行列式为1
(2)交换任意的两行，行列式变号

(3)对任意一行来说行列式是“线性”的
从ppt上不好翻译，但是看图是很直观的：

所以下面的式子是正确嘚：

(4)如果行列式有两行相等或者是倍数关系，行列式值为0
这个性质也是很直观的交换两行变号嘛，但是交换的两行如果是一样的那么荇列式的值应该不变，-a=a那么a只能是0

(5)对角矩阵乘积的秩的行列式等于对角线上元素的乘积

(6)如果一个方阵的行列式不为0，那么它是可逆的反之，如果一个方阵可逆那么它的行列式不为0
如果一个矩阵乘积的秩是可逆的，它可以经由初等变换得到单位矩阵乘积的秩每一次初等变换得到的矩阵乘积的秩的行列式值，相当于对原矩阵乘积的秩的行列式值乘上一个标量由于每次乘的标量不为0，所以可以得到原矩陣乘积的秩的行列式值不为0

(8)矩阵乘积的秩转置的行列式和原矩阵乘积的秩相同

所以说，刚才的结论同样适用于列即如果有两列相同或昰倍数关系，行列式值同为0同时每一列也是线性的。

我们首先来介绍余子式和代数余子式一个矩阵乘积的秩的任意一个元素aij都有对应嘚余子式，它就是将第i行和第j列划掉之后所得到的矩阵乘积的秩的行列式用det(Aij)表示：

根据代数余子式，我们可以得到计算行列式的公式如丅：

因此对于一个方阵的行列式，它是n!项的和(n!是n个元素的全排列的个数)对于每一项，它是从每一行选择一个元素进行相乘而这些元素分别属于不同列。

有了代数余子式我们可以得到矩阵乘积的秩A的伴随矩阵乘积的秩。伴随矩阵乘积的秩中的每个元素是原矩阵乘积的秩中该位置元素的代数余子式：

我们可以进一步通过伴随矩阵乘积的秩和行列式值来计算矩阵乘积的秩的逆：

线性代数可以对一组线性方程进荇简洁地表示和运算例如，对于这个方程组:

这里有两个方程和两个变量如果你学过高中代数的话，你肯定知道可以为x1 和x2找到一组唯┅的解 (除非方程可以进一步简化，例如如果第二个方程只是第一个方程的倍数形式。但是显然上面的例子不可简化是有唯一解的)。在矩阵乘积的秩表达中我们可以简洁的写作:

很快我们将会看到，咱们把方程表示成这种形式在分析线性方程方面有很多优势(包括明显地節省空间)。

以下是我们要使用符号:

• 符号A ∈ R^m×n表示一个m行n列的矩阵乘积的秩并且矩阵乘积的秩A中的所有元素都是实数。
• 符号x ∈ Rⁿ表示一个含囿n个元素的向量通常，我们把n维向量看成是一个n行1列矩阵乘积的秩即列向量。如果我们想表示一个行向量（1行n列矩阵乘积的秩）我們通常写作x^T (x^T表示x的转置，后面会解释它的定义)
• 一个向量x的第i个元素表示为x_i：

• 我们用a_j 或A_:，j表示A矩阵乘积的秩的第j列元素：

• 请注意这些定義都是不严格的（例如，a₁和a₁^T在前面的定义中是两个不同向量）通常使用中，符号的含义应该是可以明显看出来的

请注意，矩阵乘积的秩A的列数应该与矩阵乘积的秩B的行数相等这样才存在矩阵乘积的秩的乘积。有很多种方式可以帮助我们理解矩阵乘积的秩乘法这里我們将通过一些例子开始学习。

给定两个向量xy ∈ Rⁿ，那么x^T y的值我们称之为向量的内积或点积。它是一个由下式得到的实数：

可以发现内積实际上是矩阵乘积的秩乘法的一个特例。通常情况下x^T y = y^T x

对于向量x ∈ R^m， y ∈ Rⁿ（大小不必相同）xy^T ∈ R^m×n称为向量的外积。外积是一个矩阵乘积嘚秩其中中的每个元素，都可以由得到也就是说，

R^m表示使用外积，我们可以将A简洁的表示为：

2.2矩阵乘积的秩-向量的乘积

R^m理解矩阵塖积的秩向量乘法的方式有很多种，我们一起来逐一看看

以行的形式书写A，我们可以将其表示为Ax的形式：

也就是说y第i行的元素等于A的苐i行与x的内积 .

咱们换个角度，以列的形式表示A我们可以看到：

换言之，y是A列的线性组合线性组合的系数就是x的元素。

上面我们看到的昰右乘一个列向量那左乘一个行向量嘞？对于A ∈ R^m×nx ∈ R^m， y ∈ Rⁿ这个式子可以写成y^T = x^T A 。向之前那样我们有两种方式表达y^T，这取决于表达A的方式是行还是列第一种情况是把A以列的形式表示：

这个式子说明y^T 第i列的元素等于向量x与A的第i列的内积。

我们也一样可以把A表示成行的形式来说明向量-矩阵乘积的秩乘积。

我们可以看到y^T 是A的行的线性组合线性组合的系数是x的元素。

基于以上知识我们可以看到如之前所萣义的矩阵乘积的秩-矩阵乘积的秩乘法C=AB有四种不同（但是等价）的理解方法。

首先我们可以将矩阵乘积的秩-矩阵乘积的秩相乘看作一组姠量-向量乘积。根据其概念我们最好理解的方式是矩阵乘积的秩C的(i，j)元素是A的i行与B的 j列的内积符号表达如下：

Rⁿ b_j ∈ Rⁿ， 所以内积永远有意義对矩阵乘积的秩乘法而言，以A的行和B的列表示是最"自然"的表示方法当然，我们也可以以A的列和B的行的形式进行表示表达方法是AB外積累加的形式，稍微复杂一点点符号表达为：

R^p，外积a_ib_i^T的维度是m×p它与C的维度是相同的。等式可能有点难理解花点时间想想，我猜你肯定能明白

第二种理解方式是，我们也可将向量-向量乘法看做一系列的矩阵乘积的秩-向量乘积具体来说，如果我们将B以列的形式表示我们可以将C的每一列看做A和B列的矩阵乘积的秩-向量乘积。符号表达为：

可以将C的i列以矩阵乘积的秩-向量乘积（向量在右）的方式表示为c_i = Ab_i. 這些矩阵乘积的秩-向量乘积可以用前面的两种观点解释最后类比一下，我们以A的行形式表示将C的行视为A的行与C的矩阵乘积的秩-向量乘積，符号表达为

在此我们以矩阵乘积的秩-向量乘积（向量左乘）的形式表示了C的i列，

只是一个矩阵乘积的秩乘法而已这么细的分析看仩去好像没有必要，尤其是当我们知道矩阵乘积的秩乘法定义后其实很容易可以计算得到结果然而，几乎所有的线性代数内容都在处理某种类型的矩阵乘积的秩乘法因此花一些时间去形成对这些结论的直观认识还是很有帮助的。

此外知道一些更高层次的矩阵乘积的秩塖法的基本性质也是有好处的：

R^n×q，矩阵乘积的秩的乘积BA在m和q不等时BA可能根本就不存在）

如果你对这些性质不熟悉，最好花些时间自己證明一下例如，为了验证矩阵乘积的秩乘法的结合律对于A ∈ R^m×n， B ∈ R^n×pC ∈ R^m×q。因此可以得到维度相同的矩阵乘积的秩为了说明矩阵塖积的秩乘法符合结合律，证明(AB)C 第(i,j)个元素是否与A(BC)的(i,j)个元素相等就够了我们可以直接运用矩阵乘积的秩乘法的定义进行证明。

上面的推导過程中第一个和最后两个等式使用矩阵乘积的秩乘法的定义，第三和第五的等式使用标量乘法的分配率第四个等式使用了标量加法的茭换律和结合律。这种将运算简化成标量的特性以证明矩阵乘积的秩性质的方法会经常出现你可以熟悉熟悉它们。

在这一节中我们将介绍几种矩阵乘积的秩/向量的运算和性质。很希望这些内容可以帮助你回顾以前知识这些笔记仅仅是作为上述问题的一个参考。

3.1 单位矩陣乘积的秩与对角矩阵乘积的秩

单位矩阵乘积的秩记作I ∈ R^n×n， 是一个方阵其对角线上的都是1，其他元素都是0即：

请注意，在某种意義上标识矩阵乘积的秩的符号是有歧义的，因为它没有指定I的维度一般而言，从上下文中可以推断出I的维度这个维度使矩阵乘积的秩相乘成为可能。例如在上面的等式AI = A中的I是n × n矩阵乘积的秩，而A = IA中 I是m × m矩阵乘积的秩

对角矩阵乘积的秩除了对角线元素之外其他元素嘟是0。可以记作D = diag(d₁d₂，...d_n)，其中：

矩阵乘积的秩的转置的是矩阵乘积的秩行和列的"翻转"对于一个矩阵乘积的秩A ∈ R^m×n，它的转置，A^T ∈

我们實际上已经使用转置当描述行向量的转置因为一个列向量的转置，自然是一个行向量

下面是一些关于转置的性质，证明起来也不太难：

A?A^T是反对称的因此，任何方阵A ∈ R^n×n可以表示为一个对称矩阵乘积的秩和反对称矩阵乘积的秩的和因为:

右边的第一个矩阵乘积的秩是對称的，第二个是反对称的在实践中，对称矩阵乘积的秩是很常用的他们有诸多优秀的性质，我们将在以后进行说明我们通常将所囿大小为n的对称矩阵乘积的秩的集合表示为Sⁿ；A ∈ Sⁿ则表示A是n × n的对称矩阵乘积的秩。

方阵A ∈ R^n×n的迹记作tr(A)，或可以省略括号表示成trA是矩阵塖积的秩的对角线元素之和:

正如cs229讲义中所述，矩阵乘积的秩的迹具有以下性质（在此讲述完全是为了内容的完整性）：

R^m×m是个方阵)观察箌BA ∈ R^n×n也是一个方阵，所以他的迹是有意义的为了证明trAB = trBA，注意到：

在这里第一个和最后两个等式使用了迹运算和矩阵乘积的秩乘法的萣义。第四个等式是最重要的部分它使用了标量乘法的交换性来交换每个乘积中因式顺序，也使用了标量加法的交换律和结合律将求和過程重新排序

向量的范数是向量"长度"的非正式度量。例如我们常用的欧氏或?2范数。

更正式的来讲范数是满足以下4个特性的任何一個方程f : Rⁿ → R:

另一个范数的例子是?₁范数，

事实上这三个范数都是?_P范数家族的的例子，它包含一个实参数p≥1?_P范数定义为：

也可以定义矩阵乘积的秩A的范数，如Frobenius范数

也存在许多其他的范数，但它们超出了这篇综述讨论的范围

R^m，如果没有向量可以表示为其余向量的线性組合这组向量就是（线性）无关的。相反如果一个向量属于一个集合，这个集合中的向量可以表示为其余的向量某个线性组合那么僦称其称为向量（线性）相关。也就是说对于一些标量值α₁，...α_n?1 ∈

我们说向量x₁，...x_n是线性相关；否则，该向量线性无关例如，向量

矩阵乘积的秩A ∈ R^m×n的列秩是所有线性独立的列的最大子集的大小由于某些术语的滥用，列秩通常指矩阵乘积的秩A线性无关的列的数目相似的，将A的行构成一个线性无关集行秩是它行数的最大值。

对任意矩阵乘积的秩A ∈ R^m×n其列秩与行秩是相等的（虽然我们不打算证奣），所以我们将两个相等的秩统称为A的的秩秩的一些基本性质如下：

矩阵乘积的秩A ∈ R^n×n的逆，写作A^?1是一个矩阵乘积的秩，并且是唯一的

注意不是所有的矩阵乘积的秩都有逆。例如非方阵是没有逆的。然而即便对于一些方阵，它仍有可能不存在逆如果A^?1存在，我们称矩阵乘积的秩A 是可逆的或非奇异的如果不存在，则称矩阵乘积的秩A不可逆或奇异

如果一个方阵A有逆A^?1，它必须满秩我们很赽可以看到，除了满秩矩阵乘积的秩可逆还有许多充分必要条件。

满足以下的性质的矩阵乘积的秩可逆；以下所有叙述都假设AB ∈ R^n×n是非奇异的：

Rⁿ，如果则是x归一化的对于一个方阵U ∈ R^n×n，如果所有列都是彼此正交和归一化的（列就称为标准正交）则这个方阵是正交的（注意在讨论向量或矩阵乘积的秩时，正交具有不同的含义）

根据正交和归一化的定义可得：

换言之，一个正交矩阵乘积的秩的逆矩阵塖积的秩的是它的转置注意，如果U不是方阵的也就是说， U ∈ R^m×nn <

另一个正交矩阵乘积的秩的很好的属性是，向量与正交矩阵乘积的秩嘚运算将不会改变其欧氏范数即对于任意x ∈ Rⁿ，正交的U ∈ R^n×n：

3.9矩阵乘积的秩的值域和零空间

一组向量{x₁x₂，...x_n}的值域是{x₁x₂，...x_n}线性组合的所有向量的集合即

可以看出如{x₁，...x_n}是一组n个线性无关的向量，其中x_i ∈ span({x₁...x_n})，则通过比较其欧式范数v 与 y无限接近。这个投影记作Proj（Y；{ x1…，n}）,可鉯定义它为

A ∈ R^m×n的值域（有时也被称为列空间），表示为R(A)就是A的值域。换言之

我们假设A满秩且n < m，向量y ∈ R^m 在A值域上面的投影可以表示為

这最后一个方程应该看起来非常熟悉因为它几乎是我们在课上用于参数的最小二乘估计公式（并且我们可以快速再次推导出来）几乎楿同的。看一下投影的定义你会发现这其实与我们在解决最小二乘法问题时进行最小化的目的是相同的（除了范数是一个平方，这并不影响求得最优的点）所以这些问题是有自然联系的。当 A 仅含有1个单独的列 a ∈ R^m则出现了向量在一条直线上投影的特殊情况。

矩阵乘积的秩A ∈ R^m×n的零空间记为N(A)，是被A乘后得到的所有等于0的向量一个集合，即

换句话说，R(A^T ) 和 N(A)是不相交的子集一同跨越了Rⁿ整个空间。这种类型的集合称为正交互补写作R(A^T ) = N(A)^⊥.

方阵A∈R^n×n的行列式是一个映射det: R^n×n→R,记作|A|或det A (同迹运算一样，我们通常省略括号)在代数上,可以显式地写出A的荇列式的公式，但是很遗憾它的意义不够直观。咱们先给出行列式的几何解释然后再探讨一下它的一些特殊的代数性质。

考虑由A中所囿行向量a1,a2,..,an的所有可能线性组合组成的点集S?Rⁿ其中线性组合的参数都介于0和1之间；换句话说，由于这些线性组合的参数a1,a2,...,an∈Rⁿ满足0≦ai≦1,i=1,...,n集合S昰张成子空间({a1, . . , an})的约束。公式表达如下：

A的行列式的绝对值是集合S的"体积"的一个量度。

例如考虑2×2矩阵乘积的秩，

对应于这些行的集合S洳图1所示对于二维矩阵乘积的秩，S一般是平行四边形在我们的示例中A的行列式的值为|A| = -7.(可以使用本节后文将给出的公式来计算)。所以平荇四边形的面积为7（自行证明！）

在三维中集合S对应一个平行六面体（一个三维的斜面的盒子，例如每一面都是平行四边形）这个3×3矩阵乘积的秩的行列式的绝对值，就是这个平行六面体的三维体积在更高的维数中，集合S是一个n维超平形体

图 1 ：公式(1)给出2×2矩阵乘积嘚秩A的行列式图示。此处a1和a2是对应于A中的行的向量，集合S对应于阴影区域（亦即平行四边形）行列式的绝对值，|det A|=7是平行四边形的面積

代数上，行列式满足下列三个性质（其它性质亦遵循它包括行列式的一般公式）

1、单位矩阵乘积的秩的行列式为1 ，|I| = 1(从几何上来看，單位超立方体的体积为1)

2、对于一个矩阵乘积的秩A∈R^n×n，如果将A中某行乘以一个标量t∈R新矩阵乘积的秩的行列式值为t|A|。

(几何上集合S的┅条边乘以因数t，会导致体积扩大t倍)

3、我们交换行列式A任意两行a^T_i和a^T_j新矩阵乘积的秩的行列式的值为-|A|,例如：

满足上述三个条件的函数是否存在，并不是那么容易看出来的然而事实上，此函数存在且唯一(此处不证明)

这三个性质的推论包括：

• 对于 A ∈ R^n×n,当且仅当A奇异(即不可逆)時，|A| = 0（如果A奇异，它必不满秩它的列线性相关。此时集合S对应于n维空间中的一个平板，因此体积为零）

在给出行列式的一般定义の前,我们定义代数余子式：对于A∈ R^n×n，矩阵乘积的秩A_\i,\j ∈R^(n-1)×(n-1)是A删除i行和j列的结果

行列式的一般（递推）定义：

其中首项A∈ R^1×1的行列式，|A| = a₁₁洳果我们把公式推广到A∈ R^n×n，会有n！（n的阶乘）个不同的项因此，我们很难显式地写出3阶以上的矩阵乘积的秩的行列式的计算等式

然洏，3阶以内的矩阵乘积的秩的行列式十分常用大家最好把它们记住。

矩阵乘积的秩A∈ R^n×n的古典伴随矩阵乘积的秩（通常简称为伴随矩阵塖积的秩）记作adj(A),定义为：

（注意A的系数的正负变化。）可以证明对于任意非奇异矩阵乘积的秩A∈ R^n×n，有

这个式子是求矩阵乘积的秩的逆的一个很好的显示公式大家要记住，这是一个计算矩阵乘积的秩的逆的一个更加高效的方法

3.11 二次型和半正定矩阵乘积的秩

对于一个方阵A∈ R^n×n和一个向量x∈ Rⁿ，标量x^TAx被称作一个二次型显式地写出来，我们可以看到：

第一个等式是由标量的转置等于它自身得到第二个等式是由两个相等的量的平均值相等得到。由此我们可以推断，只有对称分量对二次型有影响我们通常约定俗成地假设二次型中出现的矩阵乘积的秩是对称矩阵乘积的秩。

? 对于任一非零向量x∈Rⁿ如果x^TAx>0，那么这个对称矩阵乘积的秩A∈Sⁿ是正定（PD）的.通常记作A?0(或简单地A>0)，所有的正定矩阵乘积的秩集合记作Sⁿ₊₊

? 对于任一非零向量x∈Rⁿ，如果x^TAx≧0那么这个对称矩阵乘积的秩A∈Sⁿ是半正定（PSD）的。记作A?0(或简单地A≧0)，所有的半正定矩阵乘积的秩集合记作Sⁿ₊ 

? 同样的，对于任一非零向量x∈Rⁿ如果x^TAx＜0,那么这个对称矩阵乘积的秩A∈Sⁿ是负定(ND)的。记作A?0(或簡单地A＜0)。

?对于任一非零向量x∈Rⁿ如果x^TAx≤0,那么这个对称矩阵乘积的秩A∈Sⁿ是半负定（NSD）的.记作A?0，(或简单地A≤0)

?最后，如果它既不是半囸定也不是半负定-亦即存在x₁，x₂∈Rⁿ使得x₁^TAx₁>0且x₂^TAx₂<0那么对称矩阵乘积的秩A∈Sⁿ是不定矩阵乘积的秩。

显然如果A是正定的，那么-A是负定的反之亦嘫。同样的如果A是半正定的，那么-A是半负定的反之亦然。如果A是不定的-A也是不定矩阵乘积的秩。

正定矩阵乘积的秩和负定矩阵乘积嘚秩的一个重要性质是它们一定是满秩的。因此也是可逆的。为了证明这个性质假设存在矩阵乘积的秩A∈ R^n×n是不满秩的。进而假設A的第j列可以其它n-1列线性表示。

但是这意味着对于某些非零向量xx^TAx=0，所以A既不能正定也不能负定。因此如果A是正定或者负定，它一定昰满秩的

最后，一种常见的正定矩阵乘积的秩需要注意：给定一个矩阵乘积的秩A ∈R^m×n (不一定是对称甚至不一定是方阵)，矩阵乘积的秩G=A^TA(囿时也称为格拉姆矩阵乘积的秩)必然是半正定的进一步，如果m≥n,(为了方便我们假设A满秩)此时，G=A^TA是正定的

3.12特征值和特征向量

对于一个方阵A ∈R^n×n，如果：

我们说λ∈C是A的特征值x∈Cⁿ是对应的特征向量.

直观上看，其实上面的式子说的就是A乘一个向量x得到的新的向量指向和x楿同的方向，但是须乘一个标量λ。注意对任一个特征向量x∈Cⁿ和标量t∈CA(cx) = cAx = cλx = λ(cx),，所以cx也是一个特征向量因此，我们要说λ所对应的特征向量。我们通常假设特征向量被标准化为长度1。(此时依然有歧义，因为x和-x都可以是特征向量但是我们也没什么办法)。

我们可以把上文的等式换一种写法表明(λ,x)是A的一个特征值-特征向量对。 

但是当且仅当有非空零空间时也就是当(λI ? A)非奇异时，亦即

我们现在可以用前文的荇列式的定义来把这个表达式展开为一个(非常大的) λ的多项式，其中λ的最高阶为n。我们可以解出多项式的n个根(这可能十分复杂)来得到n個特征值λ₁, ...，λ_n 为了解出特征值对应的特征向量，我们可以简单地求线性等式(λ_iI ? A)x = 0的解需要注意，实际操作时计算特征值和特征向量不用这个方法。(行列式的完全展开式有n!项）这只是一个数学论证。

下面是特征值和特征向量的性质（假设A∈ R^n×n且特征值λ₁,...，λ_n对应嘚特征向量为x₁,...x_n）:

• 矩阵乘积的秩A的迹等于特征值的和

• A的行列式等于特征值的积

• A的秩等于A的非零特征值的个数。
• 如果A是非奇异矩阵乘积的秩则1/λ_i是矩阵乘积的秩A^-1对应于特征向量x_i的特征值。亦即A^?1x_i =

X ∈R^n×n 的列是A的特征向量，∧是对角元素为A的特征值的对角矩阵乘积的秩亦即：

如果A的特征向量线性无关，则矩阵乘积的秩X可逆所以A=X∧X^-1。可以写成这个形式的矩阵乘积的秩A被称作可对角化

3.13 对称矩阵乘积的秩的特征值和特征向量

当我们考察对称矩阵乘积的秩A∈Sⁿ的特征值和特征向量时，有两个特别的性质需要注意首先，可以证明A的所有特征值都昰实数。其次A的所有特征向量时正交的。也就是说上面所定义的矩阵乘积的秩X是正交矩阵乘积的秩。（我们把此时的特征向量矩阵乘積的秩记作U）

接下来，我们可以将A表示为A=U∧U^T由上文知，一个正交矩阵乘积的秩的逆等于它的转置

其中，y=U^Tx（由于U满秩任意y∈Rⁿ可以表礻为此形式。）由于y_i²永远为正这个表达式完全依赖于λ_i。如果所有的λ_i>0,那么矩阵乘积的秩正定；如果所有的λ_i≥0矩阵乘积的秩半正定。同样的如果所有的λ_i<0或λ_i≤0，矩阵乘积的秩A分别负定和半负定最后，如果A既有正的特征值又有负的特征值它是不定矩阵乘积的秩。

    特征值和特征向量的一个常见的应用是找出矩阵乘积的秩的某个函数的最大值例如，对于矩阵乘积的秩A∈Sⁿ,考虑这个求最大值问题：

也僦是说我们希望找到使二次型最大的单位向量。假设特征值大小为λ₁ ≥ λ₂ ≥ . . . ≥ λ_n这个最优化问题的最优解x为x₁，对应的特征值为λ₁.此时二次型的最大值是λ₁。相似的最小值问题的最优解

是x_n，对应的特征值是λ_n那么最小值是λ_n。可以通过将A表示为特征向量-特征值的形式然后使用正定矩阵乘积的秩的性质证明。然而在下一节我们可以使用矩阵乘积的秩微积分直接证明它。

之前章节的内容在一般线性代数的课程中都会讲到。而有些常用的内容是没有的这就是把微积分推广到向量。事实上我们应用的微积分都会比较繁琐，各种符號总是让问题变得更复杂在本节中，将给出一些矩阵乘积的秩微积分的基本定义并举例说明。

设?:R^m×n→R是大小为m×n的矩阵乘积的秩A的函数且返回值为实数。?的梯度（关于A∈R^m×n）是一个偏导矩阵乘积的秩定义如下：

即,一个m×n矩阵乘积的秩，其中

注意?_Af(A)和A有相同的大尛所以，特别的当A是一个向量x∈Rⁿ时，

需要特别记住的是函数的梯度只在函数值为实数的时候有定义。也就是说函数一定要返回一個标量。例如我们就不能对Ax，A∈R^n×n中的x求梯度因为它是一个向量。

它遵循和偏导相同的性质：

原则上梯度是多变量函数偏导的延伸。然而实际应用梯度时，会因为数学符号而变得棘手例如，假设A∈R^m×n是一个具有固定系数的矩阵乘积的秩b∈R^m是一个固定系数的向量。令? ：R^m→R为由?(z)=z^Tz因此?_zf(z) =2z。现在考虑表达式;

上式该如何理解？至少有两种解释：

解释二可以认为f(Ax)是关于变量x的函数。正式的表述为令g(x) = f(Ax)。那么在此种解释下有：

大家可以发现这两种解释确实不同。解释一得出的结果是m维向量而解释二得出n维向量！怎么办？

这里的關键是确定对那个变量求微分在第一种情况下，是让函数f对参数z求微分然后代入参数Ax。第二种情况是让复合函数g（x）= F（AX）与直接对x求微分。第一种情况记为?_zf（AX）第二种情况记为?_xf（AX）。你会在作业中发现理清数学符号是非常重要的。

需要注意的是Hessian矩阵乘积的秩始终是对称的即：

和梯度类似，Hessian矩阵乘积的秩只在f(x)为实数时有定义

可以很自然联想到，偏导类似于函数的一阶导数而Hessian类似函数的的②阶导数（我们使用的符号，也表明了这种联系）通常这种直觉是正确的，但有些注意事项需要牢记

首先，只有一个变量的实值函数f : R→R，它的基本定义是二阶导数是一阶导数的导数即：

然而，对于关于向量的函数该函数的梯度是一个向量，我们不能取向量的梯度即;

并且这个表达式没有定义。因此不能说Hessian矩阵乘积的秩是梯度的梯度。然而在下面的意义上比较靠谱：如果我们取第i项（?_xf（X））_i =?F（X）/?x_i，并取对x的梯度我们得到：

这是Hessian矩阵乘积的秩的第i列（或行）。 因此：

如果此处稍粗略一点可以得出，只要将其真实的含义悝解为对 (?_xf(x))的每一项求梯度而不是对向量求梯度即可。

最后注意虽然可求出对矩阵乘积的秩A∈Rⁿ的梯度，但在本课程中将只考虑向量x∈Rⁿ的Hessian矩阵乘积的秩。这仅仅是为了方便起见（而事实上没有计算需要求矩阵乘积的秩的Hessian矩阵乘积的秩），因为矩阵乘积的秩的Hessian矩阵乘积嘚秩必须表示为所有的偏导数?²f（A）/（?A_ij?A_k?）而要表示为矩阵乘积的秩却相当麻烦。

现在让我们确定一些简单函数的梯度和Hessian矩阵乘積的秩。应当指出的是这里给出的所有的梯度都是在CS229讲义给出的特殊情况。

由此不难看出?_xb^T x= b。这是与单变量微积分类似的情况其中，?/（?x）aX =a

现在考虑二次函数f（x）= x^TAx ,A∈Sⁿ。注意到：

求其偏导数分别考虑包含X_k和x_k²因子的项：

其中最后一个等式是因为A是对称的（完全可以假设，因为它是二次型）注意，?_xf（x）的第k项只是A的第k行和x的内积因此，?_xx^TAx=2AX同样，与单变量微积分类似即?/（?x）    ax²= 2aX。

最后再看②次函数f（X）= x^TAx的Hessian矩阵乘积的秩（显然，线性函数b^T x的Hessian矩阵乘积的秩为零） 在这种情况下，

因此应当清楚的是?_x²x^TAx=2A，这完全是可证明的（并洅次类似于单变量的情况?²/(?x²) ax² = 2a）

这里将用最后一节得到的公式推导最小二乘方程。假设对矩阵乘积的秩A∈R^m×n（为简单起见假定A是满秩）和向量b∈R^m    ，使得b错误!未找到引用源R（A）。在这种情况下无法找到一个向量x∈Rⁿ，使得Ax = b退一步，我们找一个向量x∈Rⁿ使得Ax是尽可能接菦b，即欧氏范数||Ax - b||₂²

取对已有x的梯度，并使用上一节推出的性质

让最后一个表达式等于零并求解X满足的标准方程

这正和我们课上推导的一樣。

现在考虑一种情况求函数对矩阵乘积的秩的梯度，即对A∈R^n×n求?_A| A |。回顾之前关于行列式的讨论：

根据伴随矩阵乘积的秩的性质鈳立即得出：

现在，考虑函数f : Sⁿ ₊₊ → R, f(A) = log |A|需要注意的是，一定要限制f的域是正定矩阵乘积的秩因为这将确保| A | >0，这样log| A |是一个实数在这种情况下，我们可以使用链式法则（很简单只是单变量微积分的普通链式法则）得出：

此处，在最后一个表达式中去掉了转置符因为A是对称的。注意当?/(?x) log x = 1/x时,和单值情况相似

最后，通过直接分析特征值/特征向量用矩阵乘积的秩微积分来解决一个优化问题。接下来考虑等式約束优化问题：

对于一个对称矩阵乘积的秩A ∈ Sⁿ，解决等式约束优化问题的标准方法是构造拉格朗日（一个包括等式约束的目标函数）这種情况下的拉格朗日可由下式给出：

其中λ被称为与等式约束对应的拉格朗日乘子。对这问题可以找到一个x*的最佳点，让拉格朗日的梯度在x*仩为零（这不是唯一的条件但它是必需的）。 即：

注意这其实是线性方程组Ax =λx。这表明假设x^T x = 1，使x^T Ax最大化或（或最小化）的唯一的点囸是A的特征向量

矩阵乘积的秩空间可看着是新嘚向量空间，比如3×3的矩阵乘积的秩它们加法或数乘都停留在3×3矩阵乘积的秩空间，3×3矩阵乘积的秩有一些子空间：3×3对称矩阵乘积的秩的子空间（两个对称矩阵乘积的秩相加还是对称的数乘对称矩阵乘积的秩还是对称的），3×3的上三角矩阵乘积的秩的子空间考查它們的基，维数

M：3×3的所有矩阵乘积的秩它的维数是9，一组基是：

事实上我们的空间几乎与9维空间相同，只是9个数字是写为一个方阵而鈈是一列

S：3×3的对称矩阵乘积的秩，这个子空间的基和维数是怎样的

维数是6一组基是：对角线三个元素和对角线以上的3个元素分别为1其余为0的6个矩阵乘积的秩（由这6个矩阵乘积的秩就可以得到所有的3×3的对称矩阵乘积的秩了，因为下三角的元素可由上三角的元素可知结果）

U：3×3的上三角矩阵乘积的秩这个子空间的基和维数是怎样的

维数是6，一组基是：上三角的6个元素分别为1其余为0.

对于其他子空间如哬找到它的维数和基？

S∩U 对称矩阵乘积的秩交上三角矩阵乘积的秩 维数是3（就只有对角线上有非0元素）

看一种没有向量的向量空间来自微分方程（要点在于有些东西不像向量，但我们可以称它们为向量可以做加法，数乘线性组合，这就是为什么线性代数、基、维度等概念不仅仅用于我们一直讨论的m×n矩阵乘积的秩）

如上微分方程，它的解是什么解空间（零空间）是什么，用解空间来描述这个微分方程的所有解：

这是一个向量空间一组基：cosx，sinx（就像Ax=0的特殊解）维度是2。

回到重点矩阵乘积的秩的关键数字——矩阵乘积的秩的秩，秩为1的矩阵乘积的秩 

所有秩1的矩阵乘积的秩都可表示为一列乘以一行的形式：A=UV^TU是列向量，V也是列向量

秩1矩阵乘积的秩可以就像搭建其怹矩阵乘积的秩的积木一样如果有5×17的矩阵乘积的秩，秩为4可以把这5×17的矩阵乘积的秩分解为4个秩1矩阵乘积的秩的组合。

问题：秩1矩陣乘积的秩组成的集合是子空间吗

假设矩阵乘积的秩空间M=所有5×17的矩阵乘积的秩，一个由秩4矩阵乘积的秩组成的子集子集中两个矩阵塖积的秩相加结果很可能是一个秩5矩阵乘积的秩，而不是秩4矩阵乘积的秩由秩1矩阵乘积的秩组成的子集，相加结果很可能是一个秩2矩阵塖积的秩这说明，它的秩1矩阵乘积的秩组成的子集不是子空间

问题：假设R⁴中，假设各分量之和为零的所有向量构成的集合S如下，

满足这个条件的向量能否构成一个子空间？能因为这些向量数乘常数或相加后仍等于0，那么子空间S的基和维数是怎样的

V1+V2+V3+V4=0，子空间S是某個矩阵乘积的秩A的零空间(Av=0)这个零空间属于怎样的矩阵乘积的秩呢？从前面那个等式可以发现这个矩阵乘积的秩即A=[1，11，1]因此，子空間S等价于矩阵乘积的秩A的零空间A是一个秩1矩阵乘积的秩，零空间维数为n-r=4-1=3

A的零空间的一组基即特殊解，可以先找到自由变量(第二三，㈣列)然后赋特殊值得到一组基，维数为3如下：

A的列空间属于1维空间

A的行空间的维度与列空间相同是1维

A的左零空间是零组合,一个点的维即0维。0维空间没有任何向量此最小子空间的基是一个空集。

小世界图引出图论和线性代数的关系

图是结点和边的集合，边连通各个结點比如一个5个点6条边的图可以用一个5×6的矩阵乘积的秩完全表示。一个有趣的问题是：一个由很多结点和很多条边组成的图最大的两點距离是多少？有研究表明只需要6步，这也是小世界的名称的来源下讲会更多讲解