最近在看pca的算法发现自己大学嘚时候线性代数都还给老师了，复习一下的

二元线性方程组与二阶行列式

就是想象二阶行列式空间两个。 在字母的是 第一列和第二列的参数后面的字母。

• 分别是空间第一个中最后一个和取空间中第二个组合在一起。
• 剩下來的又取在一起的

图中有三条实现看做是平行于主对角线的连接，三条虚线看做是平行于虚对角线的连线实际上实现上三個元素乘积冠以正号，虚线上三元素的乘积冠以负号

把那个不同的元素排除一列，叫做这那个元素的全排列 p=n*(n-1)*....*3*2*1=n!

对于那个不同的元素，先规定各元素之间有一个标准次序（例如那个不同的自然数可规定从小到大为标准次序）。

当某一对元素的先后次序与标准次序不同时就说它构成1个逆序，一个行列中所有的逆序的总数叫做这个排列的逆序数

逆序数为奇数的排列叫做奇排列，逆序数为偶数的排列叫做偶排列

在排列中，将任意两个元素对调其余的元素不懂，这种做出新排列的手续叫做对换

将相邻两個元素对换，叫做相邻对换

奇排列对缓存标准排列的对换次数为奇数，偶排列对换成标准排序的对换次数为偶数

这个三個元素定位于不同的行、不同的列因此，任一项出正负号外可以写成a1p1a2p2a3p3.这里第一个下标排成标准次序123而第二个下标p1p2p3,它是1，23三个数的某個排列，这样的排列共有6中

前三个排列都是偶排列，而后三个排列都是奇排列因此各项所带的正负号可以表示为(-1)^t,其中t为列标排列的逆序数

主对角线以下(上)的元素都为0的行列式叫做上(下)三角形行列式,特别，主对角以下和以上的元素都为0的行列式叫做对角行列式

d^T称为行列式D的转置行列式

性质1：行列式和它的转置行列式相等

推论：如果行列式有两行(列)完全相同,则此行列式等于零

性质3:行列式中某┅行(列)的所有元素的公因子可以提到行列式记号的外面

推论：行列式中某一行(列)的所有元素的公因子可以提到行列式记号的外面

性质4：行列式中如果有两行(列)元素成正比例，则此行列式等于零

性质5：若行列式的某一行(列)的元素都是两数之和

性质6:把行列式的某一行的各元素塖以同一数然后加到另一行(列)对应的元素上去，行列式不必拿

在n阶行列式中把(i,j)元aij所在的第i行和第j列划去后，留下来的n-1階行列式叫做(i,j)的元aij的余子式

引理:一个n阶行列式如果其中第i行所有元素除了(i,j)元aij外都为零，那么这行列式等于aij与它的代数余子式的乘积即:

萣理2：行列式等于它的任一行(列)的各元素与其对应的代数余子式乘积之和

这个定理叫做行列式按行(列)展开法则

推论：行列式某一行(列)的元素与另一行（列）的对应元素的代数余子式乘积之和等于0

特别，当b1,b2…bn依次取为D=det(aij)的第i行各元素是上式扔成立，但此时因Dj中第j行和第i行两个楿同故Dj=0.

我懂什么意思了，就是你换了元素的话在整体中的运算，其实都是混乱了也就是说，你替换到得到的值和你没有替换得到的徝是一样的也就是说这两行对应的值是相等的。
将第i行加到第j行上（行列式值不变）再将行列式按第j行张开，得

当常数项b1,b2,…bn不全为零时线程方程组叫做n元非齐次线性方程组。

当常数项b1,b2,…bn全为零是线程方程组叫做n元齐次线性方程组。

当时nえ齐次线性方程组 x1=x2=x3…=xn=0.这个解叫做齐次线性方程组的零解

定义1 有m*n个数aij排除的m行n列的数表称为m行n列矩阵，简称m*n矩阵

这m*n个数称为矩阵A的元素，简称为元数aij位于矩阵A的第i行第j列。称为矩阵A的（ij）元

元素是实数的矩阵称为实矩阵，元素是负数的矩阵称为复矩阵.

行数與列数都等于n的矩阵称为n阶矩阵或n阶方阵

只有一行的矩阵称为行矩阵，又称为行向量ab加向量ba等于

只有一个列的矩阵称为列矩阵，又称為列向量ab加向量ba等于

两个矩阵的行数相等、列数也相等时就称它们是同型矩阵，对应的元素相等那么就称矩阵A和矩阵B**相等**。

元素都是零的矩阵称为零矩阵记作O。

对于非齐次线性方程组
A是系数矩阵，x称为未知数矩阵b称为常数项矩阵，B称为增广矩阵

表示一个从变量x1x2,…x到变量y1,y2,…ym的线性变换，其中aij为常数

这个方阵的特点是:从左上角到右下角的直线（叫做对角线）以外的元素都是0,这个方阵称为对角矩阵簡称为对角阵。

特别当λ1=λ2=。=1时的线性变换叫恒等变换它对应的n阶方阵叫做n阶单位矩阵，单位阵 E 的(ij)元eij

这个表达式的意思 是x在x轴的阴影，y轴则没有

应该注意，只有当两个矩阵是同型矩阵时这两个矩阵才能进行加法运算。矩阵加法满足下列运算規律：

由此规定矩阵的减法为A-B=A+（-B）

定义3 数λ与矩阵A的乘积记作λA或Aλ

矩阵相乘就是如你想象那样，两个矩陣的相互碰撞

按此定义， 一个1*s行矩阵与一个s*1列矩阵的乘积是一个1阶方阵也就是一个数。

由此表明乘积矩阵AB=c的(i,j)元Cij就是A的第i行与B的第j列的塖积

矩阵的乘法不满足交换律，AB!=BA

对于两个n阶方阵A、B若AB=BA，则称方阵A与B是可交换的

矩阵λE=…,称为纯量阵

有了矩阵的乘法，就可以定义矩陣的幂显然只有方阵的幂才有意义。

定义5:把矩阵A的行换成同序数的列得到一个新矩阵的叫做A的转置矩阵

对称矩阵:它的元素鉯对角线为对称轴对称相等

定义6 有n阶方阵A的元素所构成的行列式(各元素的位置不变)，称为方阵A的行列式记做detA 或|A|

方阵和行列式是两个不同的概念，n阶方阵是n^2个数按一定方式排成的数按一定方式排除的数表而n阶行列式则是这些书按一定的运算法则所确定的一个數。

行列式|A|的各个元素的代数余子式Aij所构成的如下的矩阵
称为矩阵A的伴随矩阵的简称伴随阵。

逆矩阵的萣义、性质和求法

在数的乘法中对不等于零的数α总存在唯一的数b，使ab=ba=1此书b即是a的倒数，即b=1/a=a^-1,利用倒数数的除法可转化为乘积的形式:x/a=x*1/a.

定義7 对于n阶矩阵A，如果有一个n阶矩阵BAB=BA=E， 使则说矩阵A是可逆的并把矩阵B称为A的可逆的，并把矩阵B称为A的逆矩阵简称逆阵

如果矩阵A是可逆嘚，那么A的逆矩阵是唯一的这时因为：若B、c都是A的逆矩阵，则有

当|A|=0时A称为奇异矩阵，否则称非奇异矩阵由上面两定理可知:A是可逆矩陣的充分必要条件是|A|!=0,即可逆矩阵就是非奇异矩阵。

克拉默法则：如果线性方程组的系数矩阵A的行列式不等于零

第3章 矩阵的初等变换与线性方程组

定义1 下面三种变换称为矩阵的初等行变换

• 以数k!=0乘某一行中的所有元(第i荇乘k,记作ri*k)
• 把某一行所有的元的k倍加到另一行对应的元上去(第j行的k倍加到第i行上记作ri+krj)

把定义中的行换成列，即得矩阵的初等列变换的定义

矩阵的初等行变换与初等列变换统称初等变换

如果矩阵A经有限次初等行变换变成矩阵B，就称矩阵A与B行等价记作A~rB，如果矩阵A经过有限次初等列变换变成矩阵B就称矩阵A和B列等价，如果矩阵A经有限次初等变换变成矩阵B就称矩阵A与B等阶。

矩阵之间的等价关系具有下列性质:

它嘚左下方的元全为0;每段竖线的高度为一行竖线的右方的第一个元为非零元，称为该非零行的首非零元具有这样特点的矩阵称为行阶梯形矩阵，为明确起见给出如下定义：

定义2 1非零矩阵若满足 1.1 非零行在零行的上面 1.2 非零行的首非零行所在列在上一行(如果存在的话)的首非零元所在列的右面则称此矩阵为行阶梯形矩阵

若A是行阶梯形矩阵，并且还满足 1.1 非零行的首非零元为1 1.2 首非零元所在的列的其它元均为0则称A为荇最简形矩阵

对行最简形矩阵再施以初等列变换，可变成一种形状更简单的矩阵称为标准形

• A~B的充分必要条件是存在m阶可逆矩阵P，使PA=B
• A~B的充汾必要条件是存在n阶可逆矩阵Q使得AQ=B
• A~B的充分必要条件是存在M阶可逆矩阵P及n阶可逆矩阵Q，使得PAQ=B

定义3 有单位矩阵E经过一次初等变换得到的矩阵稱为初等矩阵

初等矩阵第i，j两行对换得初等矩阵，用m阶初等矩阵Em左乘矩阵A
相等于，矩阵的中的两行进行了对调

性质1 设A是一个M*N矩阵對A施行一次初等行变换，相当于A的左边乘相应的M阶初等矩阵对A施行一次初等列变换，相当于在A的右边乘相应的n阶初等矩阵;对A施行一次初等列变换相当于在A的右边乘相应的n阶初等矩阵

性质2 方阵A可逆的充分必要条件是存在有限个初等矩阵p1,p2…pn,使A=p1p2…

推论 方阵A可逆的充分必要条件昰A~E

定义4 在m*n矩阵A中，任取k行与k列位于这些行列交叉处的k^2个元素，不改变它们在A中所处的位置次序而得的k阶行列式称为矩阵A的k阶孓式

引理 设A~B，则A与B中非零子式的最高阶数相等

定义5 设在矩阵A中有一个不等于0的r阶子式D,且所有r+1阶子式全等于0那么d称为矩阵A的最高阶非零子式，数r称为矩阵A的秩记作R(A),并规定零矩阵的秩等于0

定理3 n元线性方程组Ax=b

• 无解的充分必要条件是R(A)

定义1 n个有次序的数a1，a2,…所组成的数组称为n维向量ab加向量ba等于这个n歌数称为该向量ab加向量ba等于的n个分量，第i个数ai称为第i个分量

若干个哃维数的列向量ab加向量ba等于所组成的集合叫做向量ab加向量ba等于组

向量ab加向量ba等于b能有向量ab加向量ba等于组A线性表示

定义3 有两个向量ab加向量ba等於组A:a1,a2…am及B:b1,b2….bl，若B组中的每个向量ab加向量ba等于都能有向量ab加向量ba等于组A线性表示则称向量ab加向量ba等于组B能由向量ab加向量ba等于组A线性表示，若向量ab加向量ba等于组A与向量ab加向量ba等于组B能相互线性表示则称这两个向量ab加向量ba等于组等价

它线性相关嘚充分必要条件是a1,a2的分量对应成比例，其几何意义是两向量ab加向量ba等于共线三个向量ab加向量ba等于线性相关的集合意义是三向量ab加向量ba等於共勉。

定理4 向量ab加向量ba等于组A:a1,a2,…am线性相关的充分必要条件是它所构成的矩阵A=(a1,a2,…am)的秩小于向量ab加向量ba等于个数m；向量ab加向量ba等于组A线性无關的充分必要条件是R(A)=m

定理5 1若向量ab加向量ba等于组A:a1,…am线性相关则向量ab加向量ba等于组B:a1,…am，am+1也线性无关反之，若向量ab加向量ba等于组B线性无关則向量ab加向量ba等于组A也线性无关

定理5 2 m个n维向量ab加向量ba等于组成的向量ab加向量ba等于组，当维度n小于向量ab加向量ba等于个数m时一定线性相关特別地n+1个n维向量ab加向量ba等于一定线性相关

定理5 3 设向量ab加向量ba等于组A:a1,a2…am线性无关，而向量ab加向量ba等于组B:a1,…,am,b线性相关则向量ab加向量ba等于b必能有姠量ab加向量ba等于组A线性表示，且表示式是唯一的

定义5 1设有向量ab加向量ba等于组A如果在A中能选出r个向量ab加向量ba等于a1,a2,..ar线性无关2向量ab加向量ba等于组A中任意r+1向量ab加向量ba等于都线性相关，那么成向量ab加向量ba等于组A0是向量ab加向量ba等于组A的一个最大线性无关向量ab加向量ba等于组最大无关组所含向量ab加向量ba等于个数r称为向量ab加向量ba等于组A的值

推论 设向量ab加向量ba等于组A0:a1,a2,…ar是向量ab加向量ba等于组A的一个部分组，且满足：

• 向量ab加向量ba等于组A的任意向量ab加向量ba等于都能由向量ab加向量ba等于组A0线性表示那么向量ab加向量ba等于组A0便是向量ab加向量ba等于组A的┅个最大无关组。

定理3 若向量ab加向量ba等于组B能由向量ab加向量ba等于组A线性表示则RB<=RA

性质2 若x=ξ1 为向量ab加向量ba等于方程(2)的解，k为实数则x=kξ1 也是向量ab加向量ba等于方程 (2)的解.

性质3 设x=η1 及x=η2 都是向量ab加向量ba等于方程(5)的解，则x=η1-η2 为对应的齐 次线性方程组

定义6 设V为n维向量ab加向量ba等于的集合如果集合V非空，且集合V对于向量ab加向量ba等于的加法及数乘两种预算封闭那么就称集合V为向量ab加向量ba等于空间

所谓封闭，是指在集合V中可以进行向量ab加向量ba等于的加法及数乘两种运算具体地说，就是:若 若 a ∈ V b ∈ V ， 则 a + b ∈ V ; 若 a ∈ V λ ∈ R ， 则 λ a ∈ V

定义7 设有向量ab加向量ba等于空间V1 及V2若 ，就称V1 是V2 的子空间.

定义8 设V为向量ab加向量ba等于空间如果r个向量ab加向量ba等于 a1，a2…，ar∈ V且滿足

• V中任意向量ab加向量ba等于都可由a1,a2,…ar线性表示

那么，向量ab加向量ba等于组a1a2,…ar就称为向量ab加向量ba等于空间V的一个基，r称为向量ab加向量ba等于空間V的维数并称V为r维向量ab加向量ba等于空间

**定义9 如果在向量ab加向量ba等于空间V中取定一个基a1，a2…，ar那么V中任一向量ab加向量ba等于

向量ab加向量ba等于的内积、长度及正交性

[x,y]称为向量ab加向量ba等于x和y的内积

方阵的特征值与特征向量ab加向量ba等于

定义6 设A施n阶矩阵，如果数λ和n维非零列向量ab加向量ba等于x使关系式Ax=λx成立那么，这样的数λ称为矩阵A的特征值非零向量ab加向量ba等于x称为A的对应于特征值λ的特征向量ab加向量ba等于(A-λE)x=0

上式是以λ为未知数的一元n次方程，称为矩阵A嘚特征方程其左端|A-λE|是λ的n次多项式，记作f(λ），称为矩阵A的特征多项式显然，A的特诊值就是特征方程的解特征方程在负数范围内恒有解，其个数为方程的次数因此，n阶矩阵A再负数范围内有n个特征值

定理2 设λ1,λ2…λm是方阵A的m个特征值p1,p2,…pm依次是与之对应的特征向量ab加向量ba等于，如果λ1,λ2,…λm各不相等则p1,p2…pm线性无关

推论 设λ1 和λ2 是方阵A的两不同特征值，ξ1ξ2，…ξs 和η1，η2…，ηt 分别是对应於λ1 和λ2 的线性无关的特征向量ab加向量ba等于则ξ1，ξ2…，ξsη1，η2…，ηt 线 性无关.(证明留作习题.)

设A,B都是n阶矩阵若有可逆矩阵p，是P^-1AP=B,则称B是A的相似矩阵或说矩阵A与B相似，对A进行运算P^-1AP称为对A进行相似变换可逆矩阵P称为把A变成B的相似变换矩阵

定理3 若n阶矩阵A与B楿似，则A与B的特征多项式相同从而A与B的特征值亦相同

定理4 n阶矩阵A与对角矩阵相似的充分必要条件是A有n个线性无关的特征向量ab加向量ba等于

声明：版权所有转载请联系作鍺并注明出处

线性代数可以对一组线性方程进行简洁地表示和运算。例如对于这个方程组:

这里有两个方程和两个变量，如果你学过高中玳数的话你肯定知道，可以为x1 和x2找到一组唯一的解 (除非方程可以进一步简化例如，如果第二个方程只是第一个方程的倍数形式但是顯然上面的例子不可简化，是有唯一解的)在矩阵表达中，我们可以简洁的写作:

很快我们将会看到咱们把方程表示成这种形式，在分析線性方程方面有很多优势(包括明显地节省空间)

以下是我们要使用符号:

• 符号A ∈ R^m×n表示一个m行n列的矩阵，并且矩阵A中的所有元素都是实数
• 苻号x ∈ Rⁿ表示一个含有n个元素的向量ab加向量ba等于。通常我们把n维向量ab加向量ba等于看成是一个n行1列矩阵，即列向量ab加向量ba等于如果我们想表示一个行向量ab加向量ba等于（1行n列矩阵），我们通常写作x^T (x^T表示x的转置后面会解释它的定义)。
• 一个向量ab加向量ba等于x的第i个元素表示为x_i：

• 我們用a_j 或A_:j表示A矩阵的第j列元素：

• 请注意，这些定义都是不严格的（例如a₁和a₁^T在前面的定义中是两个不同向量ab加向量ba等于）。通常使用中苻号的含义应该是可以明显看出来的。

请注意矩阵A的列数应该与矩阵B的行数相等，这样才存在矩阵的乘积有很多种方式可以帮助我们悝解矩阵乘法，这里我们将通过一些例子开始学习

给定两个向量ab加向量ba等于x，y ∈ Rⁿ那么x^T y的值，我们称之为向量ab加向量ba等于的内积或点积它是一个由下式得到的实数：

可以发现，内积实际上是矩阵乘法的一个特例通常情况下x^T y = y^T x。

对于向量ab加向量ba等于x ∈ R^m y ∈ Rⁿ（大小不必相同），xy^T ∈ R^m×n称为向量ab加向量ba等于的外积外积是一个矩阵，其中中的每个元素都可以由得到，也就是说

R^m表示。使用外积我们可以将A简潔的表示为：

2.2矩阵-向量ab加向量ba等于的乘积

R^m。理解矩阵向量ab加向量ba等于乘法的方式有很多种我们一起来逐一看看。

以行的形式书写A我们鈳以将其表示为Ax的形式：

也就是说，y第i行的元素等于A的第i行与x的内积 .

咱们换个角度以列的形式表示A，我们可以看到：

换言之y是A列的线性组合，线性组合的系数就是x的元素

上面我们看到的是右乘一个列向量ab加向量ba等于，那左乘一个行向量ab加向量ba等于嘞对于A ∈ R^m×n，x ∈ R^m y ∈ Rⁿ，这个式子可以写成y^T = x^T A 向之前那样，我们有两种方式表达y^T这取决于表达A的方式是行还是列。第一种情况是把A以列的形式表示：

这个式孓说明y^T 第i列的元素等于向量ab加向量ba等于x与A的第i列的内积

我们也一样可以把A表示成行的形式，来说明向量ab加向量ba等于-矩阵乘积

我们可以看到y^T 是A的行的线性组合，线性组合的系数是x的元素

基于以上知识，我们可以看到如之前所定义的矩阵-矩阵乘法C=AB有四种不同（但是等价）嘚理解方法

首先，我们可以将矩阵-矩阵相乘看作一组向量ab加向量ba等于-向量ab加向量ba等于乘积根据其概念，我们最好理解的方式是矩阵C的(ij)元素是A的i行与B的 j列的内积。符号表达如下：

Rⁿ b_j ∈ Rⁿ 所以内积永远有意义。对矩阵乘法而言以A的行和B的列表示是最"自然"的表示方法。当然我们也可以以A的列和B的行的形式进行表示。表达方法是AB外积累加的形式稍微复杂一点点。符号表达为：

R^p外积a_ib_i^T的维度是m×p，它与C的维喥是相同的等式可能有点难理解，花点时间想想我猜你肯定能明白。

第二种理解方式是我们也可将向量ab加向量ba等于-向量ab加向量ba等于塖法看做一系列的矩阵-向量ab加向量ba等于乘积。具体来说如果我们将B以列的形式表示，我们可以将C的每一列看做A和B列的矩阵-向量ab加向量ba等於乘积符号表达为：

可以将C的i列以矩阵-向量ab加向量ba等于乘积（向量ab加向量ba等于在右）的方式表示为c_i = Ab_i. 这些矩阵-向量ab加向量ba等于乘积可以用湔面的两种观点解释。最后类比一下我们以A的行形式表示，将C的行视为A的行与C的矩阵-向量ab加向量ba等于乘积符号表达为

在此，我们以矩陣-向量ab加向量ba等于乘积（向量ab加向量ba等于左乘）的形式表示了C的i列

只是一个矩阵乘法而已，这么细的分析看上去好像没有必要尤其是當我们知道矩阵乘法定义后其实很容易可以计算得到结果。然而几乎所有的线性代数内容都在处理某种类型的矩阵乘法，因此花一些时間去形成对这些结论的直观认识还是很有帮助的

此外，知道一些更高层次的矩阵乘法的基本性质也是有好处的：

R^n×q矩阵的乘积BA在m和q不等时，BA可能根本就不存在）

如果你对这些性质不熟悉最好花些时间自己证明一下。例如为了验证矩阵乘法的结合律，对于A ∈ R^m×n B ∈ R^n×p，C ∈ R^n×q所以A(BC) ∈ R^m×q。因此可以得到维度相同的矩阵为了说明矩阵乘法符合结合律，证明(AB)C 第(i,j)个元素是否与A(BC)的(i,j)个元素相等就够了我们可以矗接运用矩阵乘法的定义进行证明。

上面的推导过程中第一个和最后两个等式使用矩阵乘法的定义，第三和第五的等式使用标量乘法的汾配率第四个等式使用了标量加法的交换律和结合律。这种将运算简化成标量的特性以证明矩阵性质的方法会经常出现你可以熟悉熟悉它们。

在这一节中我们将介绍几种矩阵/向量ab加向量ba等于的运算和性质。很希望这些内容可以帮助你回顾以前知识这些笔记仅仅是作為上述问题的一个参考。

3.1 单位矩阵与对角矩阵

单位矩阵记作I ∈ R^n×n， 是一个方阵其对角线上的都是1，其他元素都是0即：

请注意，在某種意义上标识矩阵的符号是有歧义的，因为它没有指定I的维度一般而言，从上下文中可以推断出I的维度这个维度使矩阵相乘成为可能。例如在上面的等式AI = A中的I是n × n矩阵，而A = IA中 I是m × m矩阵

对角矩阵除了对角线元素之外其他元素都是0。可以记作D = diag(d₁d₂，...d_n)，其中：

矩阵的转置的是矩阵行和列的"翻转"对于一个矩阵A ∈ R^m×n，它的转置，A^T ∈

我们实际上已经使用转置当描述行向量ab加向量ba等于的转置因为一个列向量ab加向量ba等于的转置，自然是一个行向量ab加向量ba等于

下面是一些关于转置的性质，证明起来也不太难：

A?A^T是反对称的因此，任何方阵A ∈ R^n×n可以表示为一个对称矩阵和反对称矩阵的和因为:

右边的第一个矩阵是对称的，第二个是反对称的在实践中，对称矩阵是很常用的他们有诸多优秀的性质，我们将在以后进行说明我们通常将所有大小为n的对称矩阵的集合表示为Sⁿ；A ∈ Sⁿ则表示A是n × n的对称矩阵。

方阵A ∈ R^n×n的迹记作tr(A)，或可以省略括号表示成trA是矩阵的对角线元素之和:

正如cs229讲义中所述，矩阵的迹具有以下性质（在此讲述完全是为了内容的唍整性）：

R^m×m是个方阵)观察到BA ∈ R^n×n也是一个方阵，所以他的迹是有意义的为了证明trAB = trBA，注意到：

在这里第一个和最后两个等式使用了跡运算和矩阵乘法的定义。第四个等式是最重要的部分它使用了标量乘法的交换性来交换每个乘积中因式顺序，也使用了标量加法的交換律和结合律将求和过程重新排序

向量ab加向量ba等于的范数是向量ab加向量ba等于"长度"的非正式度量。例如我们常用的欧氏或?2范数。

更正式的来讲范数是满足以下4个特性的任何一个方程f : Rⁿ → R:

另一个范数的例子是?₁范数，

事实上这三个范数都是?_P范数家族的的例子，它包含┅个实参数p≥1?_P范数定义为：

也可以定义矩阵A的范数，如Frobenius范数

也存在许多其他的范数，但它们超出了这篇综述讨论的范围

R^m，如果没囿向量ab加向量ba等于可以表示为其余向量ab加向量ba等于的线性组合这组向量ab加向量ba等于就是（线性）无关的。相反如果一个向量ab加向量ba等於属于一个集合，这个集合中的向量ab加向量ba等于可以表示为其余的向量ab加向量ba等于某个线性组合那么就称其称为向量ab加向量ba等于（线性）相关。也就是说对于一些标量值α₁，...α_n?1 ∈

我们说向量ab加向量ba等于x₁，...x_n是线性相关；否则，该向量ab加向量ba等于线性无关例如，向量ab加向量ba等于

矩阵A ∈ R^m×n的列秩是所有线性独立的列的最大子集的大小由于某些术语的滥用，列秩通常指矩阵A线性无关的列的数目相似嘚，将A的行构成一个线性无关集行秩是它行数的最大值。

对任意矩阵A ∈ R^m×n其列秩与行秩是相等的（虽然我们不打算证明），所以我们將两个相等的秩统称为A的的秩秩的一些基本性质如下：

矩阵A ∈ R^n×n的逆，写作A^?1是一个矩阵，并且是唯一的

注意不是所有的矩阵都有逆。例如非方阵是没有逆的。然而即便对于一些方阵，它仍有可能不存在逆如果A^?1存在，我们称矩阵A 是可逆的或非奇异的如果不存在，则称矩阵A不可逆或奇异

如果一个方阵A有逆A^?1，它必须满秩我们很快可以看到，除了满秩矩阵可逆还有许多充分必要条件。

满足以下的性质的矩阵可逆；以下所有叙述都假设AB ∈ R^n×n是非奇异的：

R^n×n，如果所有列都是彼此正交和归一化的（列就称为标准正交）则這个方阵是正交的（注意在讨论向量ab加向量ba等于或矩阵时，正交具有不同的含义）

根据正交和归一化的定义可得：

换言之，一个正交矩陣的逆矩阵的是它的转置注意，如果U不是方阵的也就是说， U ∈ R^m×nn <

另一个正交矩阵的很好的属性是，向量ab加向量ba等于与正交矩阵的运算将不会改变其欧氏范数即对于任意x ∈ Rⁿ，正交的U ∈ R^n×n：

3.9矩阵的值域和零空间

一组向量ab加向量ba等于{x₁x₂，...x_n}的值域是{x₁x₂，...x_n}线性组合的所有向量ab加向量ba等于的集合即

y无限接近。这个投影记作Proj（Y；{ x1…，n}）,可以定义它为

A ∈ R^m×n的值域（有时也被称为列空间），表示为R(A)就是A的值域。换言之

我们假设A满秩且n < m，向量ab加向量ba等于y ∈ R^m 在A值域上面的投影可以表示为

这最后一个方程应该看起来非常熟悉因为它几乎是我们在課上用于参数的最小二乘估计公式（并且我们可以快速再次推导出来）几乎相同的。看一下投影的定义你会发现这其实与我们在解决最尛二乘法问题时进行最小化的目的是相同的（除了范数是一个平方，这并不影响求得最优的点）所以这些问题是有自然联系的。当 A 仅含囿1个单独的列 a ∈ R^m则出现了向量ab加向量ba等于在一条直线上投影的特殊情况。

矩阵A ∈ R^m×n的零空间记为N(A)，是被A乘后得到的所有等于0的向量ab加向量ba等于一个集合，即

换句话说，R(A^T ) 和 N(A)是不相交的子集一同跨越了Rⁿ整个空间。这种类型的集合称为正交互补写作R(A^T ) = N(A)^⊥.

方阵A∈R^n×n的行列式是一个映射det: R^n×n→R,记作|A|或det A (同迹运算一样，我们通常省略括号)在代数上,可以显式地写出A的行列式的公式，但是很遗憾它的意义不够直观。咱们先给出行列式的几何解释然后再探讨一下它的一些特殊的代数性质。

考虑由A中所有行向量ab加向量ba等于a1,a2,..,an的所有可能线性组合组成的點集S?Rⁿ其中线性组合的参数都介于0和1之间；换句话说，由于这些线性组合的参数a1,a2,...,an∈Rⁿ满足0≦ai≦1,i=1,...,n集合S是张成子空间({a1, . . , an})的约束。公式表达如下：

A的行列式的绝对值是集合S的"体积"的一个量度。

例如考虑2×2矩阵，

对应于这些行的集合S如图1所示对于二维矩阵，S一般是平行四边形在我们的示例中A的行列式的值为|A| = -7.(可以使用本节后文将给出的公式来计算)。所以平行四边形的面积为7（自行证明！）

在三维中集合S对应┅个平行六面体（一个三维的斜面的盒子，例如每一面都是平行四边形）这个3×3矩阵的行列式的绝对值，就是这个平行六面体的三维体積在更高的维数中，集合S是一个n维超平形体

图 1 ：公式(1)给出2×2矩阵A的行列式图示。此处a1和a2是对应于A中的行的向量ab加向量ba等于，集合S对應于阴影区域（亦即平行四边形）行列式的绝对值，|det A|=7是平行四边形的面积

代数上，行列式满足下列三个性质（其它性质亦遵循它包括行列式的一般公式）

1、单位矩阵的行列式为1 ，|I| = 1(从几何上来看，单位超立方体的体积为1)

2、对于一个矩阵A∈R^n×n，如果将A中某行乘以一个標量t∈R新矩阵的行列式值为t|A|。

(几何上集合S的一条边乘以因数t，会导致体积扩大t倍)

3、我们交换行列式A任意两行a^T_i和a^T_j新矩阵的行列式的值為-|A|,例如：

满足上述三个条件的函数是否存在，并不是那么容易看出来的然而事实上，此函数存在且唯一(此处不证明)

这三个性质的推论包括：

• 对于 A ∈ R^n×n,当且仅当A奇异(即不可逆)时，|A| = 0（如果A奇异，它必不满秩它的列线性相关。此时集合S对应于n维空间中的一个平板，因此體积为零）

在给出行列式的一般定义之前,我们定义代数余子式：对于A∈ R^n×n，矩阵A_\i,\j ∈R^(n-1)×(n-1)是A删除i行和j列的结果

行列式的一般（递推）定义：

其中首项A∈ R^1×1的行列式，|A| = a₁₁如果我们把公式推广到A∈ R^n×n，会有n！（n的阶乘）个不同的项因此，我们很难显式地写出3阶以上的矩阵的行列式的计算等式

然而，3阶以内的矩阵的行列式十分常用大家最好把它们记住。

矩阵A∈ R^n×n的古典伴随矩阵（通常简称为伴随矩阵）记莋adj(A),定义为：

（注意A的系数的正负变化。）可以证明对于任意非奇异矩阵A∈ R^n×n，有

这个式子是求矩阵的逆的一个很好的显示公式大家要記住，这是一个计算矩阵的逆的一个更加高效的方法

3.11 二次型和半正定矩阵

对于一个方阵A∈ R^n×n和一个向量ab加向量ba等于x∈ Rⁿ，标量x^TAx被称作一个②次型显式地写出来，我们可以看到：

第一个等式是由标量的转置等于它自身得到第二个等式是由两个相等的量的平均值相等得到。甴此我们可以推断，只有对称分量对二次型有影响我们通常约定俗成地假设二次型中出现的矩阵是对称矩阵。

? 对于任一非零向量ab加姠量ba等于x∈Rⁿ如果x^TAx>0，那么这个对称矩阵A∈Sⁿ是正定（PD）的.通常记作A?0(或简单地A>0)，所有的正定矩阵集合记作Sⁿ₊₊

? 对于任一非零向量ab加向量ba等於x∈Rⁿ，如果x^TAx≧0那么这个对称矩阵A∈Sⁿ是半正定（PSD）的。记作A?0(或简单地A≧0)，所有的半正定矩阵集合记作Sⁿ₊ 

? 同样的，对于任一非零向量ab加向量ba等于x∈Rⁿ如果x^TAx＜0,那么这个对称矩阵A∈Sⁿ是负定(ND)的。记作A?0(或简单地A＜0)。

?对于任一非零向量ab加向量ba等于x∈Rⁿ如果x^TAx≤0,那么这个对称矩陣A∈Sⁿ是半负定（NSD）的.记作A?0，(或简单地A≤0)

?最后，如果它既不是半正定也不是半负定-亦即存在x₁，x₂∈Rⁿ使得x₁^TAx₁>0且x₂^TAx₂<0那么对称矩阵A∈Sⁿ是不定矩陣。

显然如果A是正定的，那么-A是负定的反之亦然。同样的如果A是半正定的，那么-A是半负定的反之亦然。如果A是不定的-A也是不定矩阵。

正定矩阵和负定矩阵的一个重要性质是它们一定是满秩的。因此也是可逆的。为了证明这个性质假设存在矩阵A∈ R^n×n是不满秩嘚。进而假设A的第j列可以其它n-1列线性表示。

但是这意味着对于某些非零向量ab加向量ba等于xx^TAx=0，所以A既不能正定也不能负定。因此如果A昰正定或者负定，它一定是满秩的

最后，一种常见的正定矩阵需要注意：给定一个矩阵A ∈R^m×n (不一定是对称甚至不一定是方阵)，矩阵G=A^TA(有時也称为格拉姆矩阵)必然是半正定的进一步，如果m≥n,(为了方便我们假设A满秩)此时，G=A^TA是正定的

3.12特征值和特征向量ab加向量ba等于

对于一个方阵A ∈R^n×n，如果：

我们说λ∈C是A的特征值x∈Cⁿ是对应的特征向量ab加向量ba等于.

直观上看，其实上面的式子说的就是A乘一个向量ab加向量ba等于x嘚到的新的向量ab加向量ba等于指向和x相同的方向，但是须乘一个标量λ。注意对任一个特征向量ab加向量ba等于x∈Cⁿ和标量t∈CA(cx) = cAx = cλx = λ(cx),，所以cx也是一个特征向量ab加向量ba等于因此，我们要说λ所对应的特征向量ab加向量ba等于我们通常假设特征向量ab加向量ba等于被标准化为长度1。(此时依然有歧义因为x和-x都可以是特征向量ab加向量ba等于，但是我们也没什么办法)

我们可以把上文的等式换一种写法，表明(λ,x)是A的一个特征值-特征向量ab加向量ba等于对 

但是当且仅当有非空零空间时，也就是当(λI ? A)非奇异时亦即

我们现在可以用前文的行列式的定义，来把这个表达式展開为一个(非常大的) λ的多项式其中λ的最高阶为n。我们可以解出多项式的n个根(这可能十分复杂)来得到n个特征值λ₁, ...，λ_n 为了解出特征徝对应的特征向量ab加向量ba等于，我们可以简单地求线性等式(λ_iI ? A)x = 0的解需要注意，实际操作时计算特征值和特征向量ab加向量ba等于不用这個方法。(行列式的完全展开式有n!项）这只是一个数学论证。

下面是特征值和特征向量ab加向量ba等于的性质（假设A∈ R^n×n且特征值λ₁,...，λ_n对應的特征向量ab加向量ba等于为x₁,...x_n）:

• 矩阵A的迹等于特征值的和

• A的行列式等于特征值的积

• A的秩等于A的非零特征值的个数。

• 如果A是非奇异矩阵则1/λ_i是矩阵A^-1对应于特征向量ab加向量ba等于x_i的特征值。亦即A^?1x_i =

X ∈R^n×n 的列是A的特征向量ab加向量ba等于，∧是对角元素为A的特征值的对角矩阵亦即：

如果A的特征向量ab加向量ba等于线性无关，则矩阵X可逆所以A=X∧X^-1。可以写成这个形式的矩阵A被称作可对角化

3.13 对称矩阵的特征值和特征向量ab加向量ba等于

当我们考察对称矩阵A∈Sⁿ的特征值和特征向量ab加向量ba等于时，有两个特别的性质需要注意首先，可以证明A的所有特征值都是實数。其次A的所有特征向量ab加向量ba等于时正交的。也就是说上面所定义的矩阵X是正交矩阵。（我们把此时的特征向量ab加向量ba等于矩阵記作U）

接下来，我们可以将A表示为A=U∧U^T由上文知，一个正交矩阵的逆等于它的转置

其中，y=U^Tx（由于U满秩任意y∈Rⁿ可以表示为此形式。）甴于y_i²永远为正这个表达式完全依赖于λ_i。如果所有的λ_i>0,那么矩阵正定；如果所有的λ_i≥0矩阵半正定。同样的如果所有的λ_i<0或λ_i≤0，矩阵A分别负定和半负定最后，如果A既有正的特征值又有负的特征值它是不定矩阵。

    特征值和特征向量ab加向量ba等于的一个常见的应用是找出矩阵的某个函数的最大值例如，对于矩阵A∈Sⁿ,考虑这个求最大值问题：

也就是说我们希望找到使二次型最大的单位向量ab加向量ba等于。假设特征值大小为λ₁ ≥ λ₂ ≥ . . . ≥ λ_n这个最优化问题的最优解x为x₁，对应的特征值为λ₁.此时二次型的最大值是λ₁。相似的最小值问题的朂优解

是x_n，对应的特征值是λ_n那么最小值是λ_n。可以通过将A表示为特征向量ab加向量ba等于-特征值的形式然后使用正定矩阵的性质证明。嘫而在下一节我们可以使用矩阵微积分直接证明它。

之前章节的内容在一般线性代数的课程中都会讲到。而有些常用的内容是没有的这就是把微积分推广到向量ab加向量ba等于。事实上我们应用的微积分都会比较繁琐，各种符号总是让问题变得更复杂在本节中，将给絀一些矩阵微积分的基本定义并举例说明。

设?:R^m×n→R是大小为m×n的矩阵A的函数且返回值为实数。?的梯度（关于A∈R^m×n）是一个偏导矩陣定义如下：

即,一个m×n矩阵，其中

注意?_Af(A)和A有相同的大小所以，特别的当A是一个向量ab加向量ba等于x∈Rⁿ时，

需要特别记住的是函数的梯度只在函数值为实数的时候有定义。也就是说函数一定要返回一个标量。例如我们就不能对Ax，A∈R^n×n中的x求梯度因为它是一个向量ab加向量ba等于。

它遵循和偏导相同的性质：

原则上梯度是多变量函数偏导的延伸。然而实际应用梯度时，会因为数学符号而变得棘手唎如，假设A∈R^m×n是一个具有固定系数的矩阵b∈R^m是一个固定系数的向量ab加向量ba等于。令? ：R^m→R为由?(z)=z^Tz因此?_zf(z) =2z。现在考虑表达式;

上式该洳何理解？至少有两种解释：

解释二可以认为f(Ax)是关于变量x的函数。正式的表述为令g(x) = f(Ax)。那么在此种解释下有：

大家可以发现这两种解釋确实不同。解释一得出的结果是m维向量ab加向量ba等于而解释二得出n维向量ab加向量ba等于！怎么办？

这里的关键是确定对那个变量求微分茬第一种情况下，是让函数f对参数z求微分然后代入参数Ax。第二种情况是让复合函数g（x）= F（AX）与直接对x求微分。第一种情况记为?_zf（AX）第二种情况记为?_xf（AX）。你会在作业中发现理清数学符号是非常重要的。

需要注意的是Hessian矩阵始终是对称的即：

和梯度类似，Hessian矩阵只茬f(x)为实数时有定义

可以很自然联想到，偏导类似于函数的一阶导数而Hessian类似函数的的二阶导数（我们使用的符号，也表明了这种联系）通常这种直觉是正确的，但有些注意事项需要牢记

首先，只有一个变量的实值函数f : R→R，它的基本定义是二阶导数是一阶导数的导数即：

然而，对于关于向量ab加向量ba等于的函数该函数的梯度是一个向量ab加向量ba等于，我们不能取向量ab加向量ba等于的梯度即;

并且这个表達式没有定义。因此不能说Hessian矩阵是梯度的梯度。然而在下面的意义上比较靠谱：如果我们取第i项（?_xf（X））_i =?F（X）/?x_i，并取对x的梯度我们得到：

这是Hessian矩阵的第i列（或行）。 因此：

如果此处稍粗略一点可以得出，只要将其真实的含义理解为对 (?_xf(x))的每一项求梯度而不昰对向量ab加向量ba等于求梯度即可。

最后注意虽然可求出对矩阵A∈Rⁿ的梯度，但在本课程中将只考虑向量ab加向量ba等于x∈Rⁿ的Hessian矩阵。这仅仅是為了方便起见（而事实上没有计算需要求矩阵的Hessian矩阵），因为矩阵的Hessian矩阵必须表示为所有的偏导数?²f（A）/（?A_ij?A_k?）而要表示为矩阵卻相当麻烦。

现在让我们确定一些简单函数的梯度和Hessian矩阵。应当指出的是这里给出的所有的梯度都是在CS229讲义给出的特殊情况。

由此不難看出?_xb^T x= b。这是与单变量微积分类似的情况其中，?/（?x）aX =a

现在考虑二次函数f（x）= x^TAx ,A∈Sⁿ。注意到：

求其偏导数分别考虑包含X_k和x_k²因子嘚项：

其中最后一个等式是因为A是对称的（完全可以假设，因为它是二次型）注意，?_xf（x）的第k项只是A的第k行和x的内积因此，?_xx^TAx=2AX同樣，与单变量微积分类似即?/（?x）    ax²= 2aX。

最后再看二次函数f（X）= x^TAx的Hessian矩阵（显然，线性函数b^T x的Hessian矩阵为零） 在这种情况下，

因此应当清楚的是?_x²x^TAx=2A，这完全是可证明的（并再次类似于单变量的情况?²/(?x²) ax² = 2a）

这里将用最后一节得到的公式推导最小二乘方程。假设对矩阵A∈R^m×n（為简单起见假定A是满秩）和向量ab加向量ba等于b∈R^m    ，使得b错误!未找到引用源R（A）。在这种情况下无法找到一个向量ab加向量ba等于x∈Rⁿ，使得Ax = b退一步，我们找一个向量ab加向量ba等于x∈Rⁿ使得Ax是尽可能接近b，即欧氏范数||Ax - b||₂²

取对已有x的梯度，并使用上一节推出的性质

让最后一个表达式等于零并求解X满足的标准方程

这正和我们课上推导的一样。

现在考虑一种情况求函数对矩阵的梯度，即对A∈R^n×n求?_A| A |。回顾之前关於行列式的讨论：

根据伴随矩阵的性质可立即得出：

现在，考虑函数f : Sⁿ ₊₊ → R, f(A) = log |A|需要注意的是，一定要限制f的域是正定矩阵因为这将确保| A | >0，這样log| A |是一个实数在这种情况下，我们可以使用链式法则（很简单只是单变量微积分的普通链式法则）得出：

此处，在最后一个表达式Φ去掉了转置符因为A是对称的。注意当?/(?x) log x = 1/x时,和单值情况相似

最后，通过直接分析特征值/特征向量ab加向量ba等于用矩阵微积分来解决┅个优化问题。接下来考虑等式约束优化问题：

对于一个对称矩阵A ∈ Sⁿ，解决等式约束优化问题的标准方法是构造拉格朗日（一个包括等式约束的目标函数）这种情况下的拉格朗日可由下式给出：

其中λ被称为与等式约束对应的拉格朗日乘子。对这问题可以找到一个x*的最佳點，让拉格朗日的梯度在x*上为零（这不是唯一的条件但它是必需的）。 即：

注意这其实是线性方程组Ax =λx。这表明假设x^T x = 1，使x^T Ax最大化或（或最小化）的唯一的点正是A的特征向量ab加向量ba等于