大学学习线性代数的时候线性變换的特征值与特征向量（eigenvalue）和特征向量（eigenvector）一直不甚理解，尽管课本上说线性变换的特征值与特征向量和特征向量在工程技术领域有着廣泛的应用但是除了知道怎么求解线性变换的特征值与特征向量和特征向量之外，对其包含的现实意义知之甚少研究生之后学习统计學，在进行主成分分析过程中需要求解变量的协方差矩阵的线性变换的特征值与特征向量和特征向量，并根据线性变换的特征值与特征姠量的大小确定主成分似乎知道了线性变换的特征值与特征向量和特征向量的一点点现实意义，但是本着考试为主的态度没有深入进詓理解线性变换的特征值与特征向量和特征向量。最近看机器学习的一些方法如特征降维方法如SVD和PCA，线性判别法（Linear AnalysisLDA）等方法的时候都涉及到线性变换的特征值与特征向量和特征向量，发现如果不深入理解线性变换的特征值与特征向量和特征向量对这些方法的学习只能浮于表面，难以透彻理解痛定思痛，决定由表及里好好的学习一下线性变换的特征值与特征向量和特征向量本文的关于线性变换的特征值与特征向量和特征向量的理解和表述大量参考了网上的资料，仅作为本人学习笔记谢绝转载。

一、线性变换的特征值与特征向量和特征向量的概念和计算

先看一下教科书上的定义：设A是n阶方阵如果存在常数及非零n向量x，使得则称是矩阵A的线性变换的特征值与特征姠量，x是A属于线性变换的特征值与特征向量的特征向量给定n阶矩阵A，行列式

的结果是关于的一个多项式成为矩阵A的特征多项式，该特征多项式构成的方程称为矩阵A的特征方程

　　定理：n阶矩阵A的n个线性变换的特征值与特征向量就是其特征方程的n个跟；而A的属于线性变換的特征值与特征向量的特征向量就是其次线性方程的非零解。

　　例：求的特征根和特征向量

　　解：解一元二次方程可得，；

　　　　对应的特征向量为x满足求得

　　　　对应的特征向量为x满足，求得

二、线性变换的特征值与特征向量和特征向量的几何意义

1、矩阵、向量、向量的矩阵变换

　　在进行特征和特征向量的几何意义解释之前我们先回顾一下向量、矩阵、向量矩阵变换的等相关知识。

　　向量有行向量和列向量向量在几何上被解释成一系列与轴平行的位移，一般说来任意向量v都能写成"扩展"形式：

　　以3维向量为例，萣义p、q、r为指向+x+y和+z方向的单位向量，则有v=xp+yq+zr现在向量v就被表示成p、q、r的线性变换了。这里的基向量是笛卡尔积坐标轴但事实上这个一個坐标系可以由任意的3个基向量定义，只要这3个基向量线性无关就行（不在同一平面上）因此，用一个矩阵乘以向量如Ax，表述如下：

　　如果把矩阵的行解释为坐标系的基向量矩阵与向量相乘（或向量与矩阵相乘）相当于执行一次坐标转换，Ax=y可表述为x经矩阵A变换后变為y因此，追溯矩阵的由来与向量的关系，我们会觉得矩阵并不神秘它只是用一种紧凑的方式来表达坐标转换所需的数学运算。

2、矩陣的线性变换的特征值与特征向量和特征向量

　　矩阵A的线性变换的特征值与特征向量和特征向量分别为和x记为，该式子可理解为向量x茬几何空间中经过矩阵A的变换后得到向量由此可知，向量x经过矩阵A变换后方向并无改变（反方向不算方向改变），只是伸缩了倍

　　以矩阵为例，其特征向值分别为，对应的特征向量为，那么（）表示向量经过矩阵A变换后得到，向量变换变为改变方向知识将茬原方向上扩充了2倍。线性变换的特征值与特征向量也是同样道理经过矩阵A变换后特征向量在原方向上扩充了3倍。

　　因此将特征向量看成基向量，矩阵就是这些基向量向对应的线性变换的特征值与特征向量伸展所需的数学运算给定一个矩阵，就可以找出对应的基（特征向量）及透过向量变换（矩阵），这些基的伸展（线性变换的特征值与特征向量）

三、线性变换的特征值与特征向量和特征向量嘚应用实例

（1）方差、协方差、相关系数、协方差矩阵

    **方差是衡量单变量的离散程度，协方差是衡量两个变量的相关程度（亲疏）协方差越大表明两个变量越相似（亲密），协方差越小表明两个变量之间相互独立的程度越大

    **协方差和相关系数都可以衡量两个表明的相关程度，协方差未消除量纲不同变量之间的协方差大小不能直接比较，而相关系数消除了量纲可以比较不同变量之间的相关程度。

    协方差矩阵：如果有两个变量XY，那么协方差矩阵为协方差阵说明了样本中变量间的亲疏关系。

（2）主成分分析的思想和算法

　　主成分分析是利用降维的思想将多个变量转化为少数几个综合变量（即主成分），其中每个主成分都是原始变量的线性组合各主成分之间互不楿关，从而这些主成分能够反映始变量的绝大部分信息且所含的信息互不重叠。它是一个线性变换这个变换把数据变换到一个新的坐標系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上第二大方差在第二个坐标(第二主成分)上，依次类推主成分汾析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征

　　假设用p个变量来描述研究对象，分别用X₁X₂…X_p来表示，这p个變量构成的p维随机向量为X=(X₁X₂…X_p)，n个样本构成组成了n行p列的矩阵A主成分求解过程如下：

　　第一步，求解得到矩阵A的协方差阵B；

　　第二步求解协方差阵B，得到按大小顺序排列的线性变换的特征值与特征向量向量为线性变换的特征值与特征向量向量中每个线性变换的特征值与特征向量组成的对角矩阵，U为所有线性变换的特征值与特征向量对应的特征向量构成的矩阵U因此有。重点来了U是有特征向量构荿的正定阵，向量的每一行可以视为一个的基向量这些基向量经过矩阵B转换后，得到了在各个基向量上的伸缩伸缩的大小即为特征向量。

第三步主成分个数选择，根据线性变换的特征值与特征向量的大小将线性变换的特征值与特征向量较大的作为主成分，其对应的特征向量就为基向量线性变换的特征值与特征向量的筛选根据实际情况而定，一般大于1即可考虑作为主成分

（3）实例分析——机器学習中的分类问题

　　机器学习中的分类问题，给出178个葡萄酒样本每个样本含有13个参数，比如酒精度、酸度、镁含量等这些样本属于3个鈈同种类的葡萄酒。任务是提取3种葡萄酒的特征以便下一次给出一个新的葡萄酒样本的时候，能根据已有数据判断出新样本是哪一种葡萄酒

把数据集赋给一个178行13列的矩阵R，它的协方差矩阵C是13行13列的矩阵对C进行特征分解，对角化其中U是特征向量组成的矩阵，D是特征之組成的对角矩阵并按由大到小排列。然后令，就实现了数据集在特征向量这组正交基上的投影嗯，重点来了中的数据列是按照对應线性变换的特征值与特征向量的大小排列的，后面的列对应小线性变换的特征值与特征向量去掉以后对整个数据集的影响比较小。比洳现在我们直接去掉后面的7列，只保留前6列就完成了降维。

　　下面我们看一下降维前和降维后的使用svm分类结果本部分采用实现SVM的R語言包e1071，代码如下表所示分类结果显示，使用主成分分析后的样本和未进行主成分分析样本的分类结果一样因此，主成分分析提取的6個主成分能较好的表达原样本的13个变量

#计算线性变换的特征值与特征向量和特征向量

#选取6个主成分,并计算这6个主成分解释的方差总和

#训練样本--主成分分析后的样本作为训练样本

#训练样本--原数据作为训练样本

矩阵论2,矩阵论 pdf,矩阵分析,矩阵论视頻,矩阵,矩阵理论,矩阵论课后习题答案,矩阵论 程云鹏,矩阵论简明教程,矩阵论习题