|
|
|
|
移动端

2.1.5 本征向量和本征值

《深度学习与计算机视觉:算法原理、框架应用与代码实现》本书全面介绍了深度学习及计算机视觉中最基础的知识,并结合最常见的应用场景和大量实例,带领读者进入丰富多彩的计算机视觉领域。作为一本“原理+实践”教程,本书在讲解原理的基础上,通过有趣的实例带领读者一步步亲自动手,不断提高动手能力,而不是枯燥和深奥原理的堆砌。本节为大家介绍本征向量和本征值。

作者:叶韵来源:机械工业出版社|2017-10-22 18:01

【新品产上线啦】51CTO播客,随时随地,碎片化学习

2.1.5  本征向量和本征值

一提到本征向量,很多人可能会想到通过本征值的定义对等式进行变化后,对着一元二次方程求解本征值的头疼经历。本书不打算讲这么多关于本征向量和本征值的细节,我们一起来从定性的角度形象感受一下本征向量。当然,一开始还是先讲公式,下面来看看本征值和本征向量的定义,对于一个非零向量x和一个矩阵A,如果有标量λ使得:

则称λ为A的本征值,x为对应的本征向量。从定义来看,本征向量的意思就是说对经过变换后,这个向量并没有发生方向的变化(或是完全反向,如果λ为负值的话)。其实在当前更多的中文教材中,本征向量和本征值有另外一个名字叫特征向量和特征值。个人认为“特征向量/值”的名字并不是很好,因为eigen这个词有“固有,不变”的含义,例如f(x)=aeλx就是微分算子的本征函数。

基于2.1.4节的理解,我们来直观感受一下本征向量和本征值的几何含义,为方便讨论,都以单位向量为例,考虑如下矩阵:

这个矩阵变换的本征向量分别为(-1/,-1/)和(-1/,-2/),对应的本征值分别是2和3。注意:为了方便讨论,这里使用大于0的本征值。首先来看看向量(1,0)和(0,1)经过变换后的情况,如图2-10所示。

如图2-10a所示,根据2.1.4节关于矩阵乘法几何含义的理解,(1,0)向量所示的黑色实线箭头变换后对应的则是第一列的向量(1,-2),而(0,1)所示的浅色实线箭头变换后对应的是第二列的向量(1,4)。显然这两个向量都发生了方向的变化。接下来看看图2-10b中对两个本征向量变换后的情况。(-1/,-1/)是黑色实线箭头,(-1/,-2/)是浅色实线箭头,变换后的两个向量和变换前的向量方向完全一致,其中黑色虚线箭头的长度是黑色实线箭头长度的2倍,浅色虚线箭头的长度是浅色实线箭头长度的3倍,这就是本征值的几何含义:变换会将对应本征向量方向上的向量进行缩放,缩放的倍数就是本征值。

上面的例子用的矩阵是一个非对称矩阵,在机器学习中比较常见的情况是对称矩阵,尤其是正定矩阵。正定矩阵的定义如下:对于任意非零的向量x,和一个对称矩阵A,如果有

则称矩阵A是正定矩阵。从之前讲到的点积的几何意义,正定矩阵可以理解为一个向量经过正定矩阵变换后,和自身的点积大于0,说白了就是正定矩阵对应的变换不会把变换后的向量变到向量本身所垂直的平面的另一侧。具体到二维的例子就是,怎么变,变换后的向量和自身的夹角都不会大于90°。考虑如下正定矩阵:

本征向量分别是(0.85,0.53)和(-0.53,0.85),对应的本征向量为1.81和0.69,还是按照图2-10的方式画出来如图2-11a所示,深色实线箭头为单位向量,浅色虚线箭头为变换后的向量。

可以看到,两个本征向量是互相垂直的。正定矩阵的本征向量有什么特别之处呢?来看图2-11b,想象有个单位长度的向量,把这个向量绕着原点旋转,并画出变换前和变换后的轨迹,则这个向量显然画出了一个圆,而变换后的向量画出的轨迹是一个椭圆。如图2-11c所示,而这个正定矩阵对应的本征向量,则正好分别是椭圆长短轴所指的方向,本征值则是椭圆的半长轴和半短轴的长度。从几何上理解就是正定矩阵变换前后的空间里可以找到一组正交的向量,这组正交向量变换后仍是正交的,且方向不变,空间只是沿着这组正交向量的方向上发生了拉伸/收缩。如果有接触过主成分分析(Principal Component Analysis,PCA)的读者肯定已经看出来了,是二维的,没错,这就是PCA的底层思想,关于PCA的细节,后面的章节也会讲到。但是这个结论在高维度也普遍适用,并且在机器学习中是个很有用的公式,在后面的实例中还会见到。

喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码

 


51CTO读书频道活动讨论群:365934973

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

SUN Solaris 9/10系统管理员认证指南

本书专门根据SUN官方的SCSA for Solaris 9&10考试大纲撰写而成,全面覆盖了SCSA for Solaris 9/10的认证考点,除此之外本书还有大量的非考...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊