线性代数 --- 特征值与特征向量（上）

特征值与特征向量

Eigen Values & Eigen Vectors

Part I:特征值，特征向量的意义与性质

��       已知任意向量x，现有矩阵A对x进行操作后，得到新的向量Ax。这就好比是自变量x与函数f(x)的关系一样，向量x通过类似“函数”的处理得到了一个新的向量Ax。这个新的向量可能和原向量x方向相同，也可能不同(事实上大多都不同)。此外，新的向量与原向量的长度可能向量，也可能不同。而特征向量(Eigen vector)指的就是那些和原始向量x平行的那些Ax，这是线性代数所研究的两大问题的的另一个部分(在我看来，线性代数的两个主要方向一个是研究垂直，另一个就是这里的平行)。

特征向量与特征值的意义：

        对于矩阵A而言，存在一些特殊的向量x，使得矩阵A作用于向量x之后所得到的Ax任然与原向量x平行(这里的平行可理解为与x的方向相同或正好相反)，得到:

满足上述描述的向量x，就被称为特征向量。其中，系数是一个数，又叫特征值(Eigen value)，可以看成是向量x长度的一个倍数。可以是1，表示Ax=x即，矩阵A没有改变向量x的长度。可以是-5，即改变了x的方向和大小，可以是0.26，也可以是复数。

 

Tips：当特征值=0，且x不是零向量时，矩阵A应该满足什么条件呢？

答：若=0，则x为零向量，得到Ax=0。向量x属于A的零空间(左零空间)又不是平凡解零向量，则矩阵A必须是奇异矩阵(singular matrix)才能让非零向量x通过线性组合得到零向量。这样一来，我们就得出了一条重要推导，若矩阵A为奇异矩阵，即不可逆矩阵，则=0是矩阵A的一个特征值。

特征向量与特征值的性质：

        1，n维度矩阵A有n个特征值。

        2，这n个特征值的乘积等于矩阵A的行列式。

        3，n个特征值的和等于矩阵A主对角线元素的和，这个和被称为Trace(迹)。

例如：对于矩阵A而言

当他作用在二维平面中的单位向量x=[0 1]时，得到的Ax如下图所示：

        点击鼠标不断地调整单位向量x的方向，会在四个地方看到Ax与x平行情况，其中的两处是Ax与x的方向相同如下图所示：

另外两处的Ax与x的方向正好相反：

通过matlab求解矩阵A的特征向量和特征值可得：

A=[1/4 3/4;4/4 2/4][V,D]=eig(A)

其中特征值为矩阵D的主对角线上的元素，而特征向量V中的列为特征值所对应的特征向量。 

        可见当特征值为-0.5时，也就是Ax=-0.5x。这就是说向量x的长度缩小了一半且方向正好相反。这时的x为[-0.7071 0.7071]。对应与上面四种情况中的下面这种，在二维平面中所对应的点为x=-0.7071，y=0.7071。可见向量Ax的长度是x的一半，且方向正好相反。

        当特征值为1.25时，也就是Ax=1.25x。这就是说相对于向量x，向量Ax的长度增加了1.25倍，但方向依然与x相同。这时的x为[-0.6 -0.8]，对应与上面四种情况中的下面这种，在二维平面中所对应的点为x=-0.6，y=-0.8。

Part II:一些常见矩阵的特征向量与特征值

1，投影矩阵P(projection matrix)

        已知投影矩阵P可把任意向量投影到n维子空间S上，例如下图中，投影矩阵P作用于向量b上，得到了b在S上的投影Pb。

        现在我们要问的是，对于投影矩阵P而言，他作用在什么向量x上，得到的结果依然与x平行？如果平行，这个新向量的长度是x的几倍呢(即,求)？根据特征向量的定义，投影矩阵P作用于x上后得到的Px应当平行于Px。那么对投影矩阵P而言，特征向量x必须是n维子空间S内的向量。因为，对子空间S内的任意向量x施加P矩阵，得到投影就是x自己。方向与x相同，且长度不变，即特征值为1。用数学表达式来表示就是：

此外，我们还知道当向量b垂直于子空间S时，b在S上的投影为零向量。因此，我们又发现了S空间之外的特征向量，即所有垂直于S空间的向量x，投影Px与x的方向相同，但长度为0。表达为数学公式就是：

小结：这里我们总结一下投影矩阵的特征向量与特征值，对于投影矩阵P而言，他的特征向量为投影矩阵P所投影的子空间内的所有向量和垂直于该子空间的所有向量。

2，置换矩阵(permutation matrix)

先看一个例子，已知置换矩阵A为(交换两个元素的位置)：

同样，还是按照特征向量的定义出发，现有的置换矩阵A作用在哪个向量x上，才能使得新向量Ax平行于x？换句话说，就是要找到一个向量x，交换元素位置后仍然是x或倍的x? 明显，如果向量x中的两个元素相同，则不论怎么交换两个元素的位置，得到的结果仍是x。

例如：

        因此，对于矩阵A而言，所有两个元素相同的向量x都是A的特征向量，且特征值为1。又因为，矩阵A为二维矩阵，因此，可能还存在一对特征向量与特征值。比如说，如果我们先令特征值为-1，那么就允许特征向量x中的元素大小相同但符号相反，这样一来，交换顺序再乘以-1后，得到的仍然还是x。

例如：

 小结：对于置换矩阵而言，那些交换元素位置后依然还是原始向量的向量就是A的特征向量，对应的特征值为1。而那些交换元素相应位置后，只改变了符号但不改变数值的向量，也是A的特征向量，他们所对应的特征值为-1。

---

 （全文完）

作者 --- 松下J27 

参考文献(鸣谢)：

1，Introduction to Linear Algebra，Fifth Edition - Gilbert Strang

2，麻省理工Gilbert Strang教授线代大师-线性代数（全）_哔哩哔哩_bilibili

（配图与本文无关） 

版权声明：文中的部分图片，文字或者其他素材，可能来自很多不同的网站和说明，在此没法一一列出，如有侵权，请告知，立即删除。欢迎大家转载，但是，如果有人引用或者COPY我的文章，必须在你的文章中注明你所使用的图片或者文字来自于我的文章，否则，侵权必究。 ----松下J27