|
|
|
|
移动端

2.3.9 PCA——通过本征向量和本征值求主成分

《深度学习与计算机视觉:算法原理、框架应用与代码实现》本书全面介绍了深度学习及计算机视觉中最基础的知识,并结合最常见的应用场景和大量实例,带领读者进入丰富多彩的计算机视觉领域。作为一本“原理+实践”教程,本书在讲解原理的基础上,通过有趣的实例带领读者一步步亲自动手,不断提高动手能力,而不是枯燥和深奥原理的堆砌。本节为大家介绍PCA——通过本征向量和本征值求主成分。

作者:叶韵来源:机械工业出版社|2017-10-23 16:33

【新品产上线啦】51CTO播客,随时随地,碎片化学习

2.3.9  PCA——通过本征向量和本征值求主成分

那么应该如何求出这个变化剧烈程度最大的方向呢?还是考虑图2-33中所示的样本X,如果这些样本是经过一个标准差为1,两个维度相互独立的高斯分布样本XU,先经过沿每个轴的缩放(L),再乘以一个正交矩阵U旋转而得到的,如图2-34所示。

所以有:

并且U中的每个行向量就是要求的投影方向,其中对应缩放值最大的方向就是主成分所在的方向。之所以有这么别扭的一项,是为了方便接下来的推导公式:因为X的每个维度的均值都是0,所以根据协方差矩阵的计算公式,有如下:

所以协方差矩阵公式如下:

其中N是样本个数,因为XU是方差为1,且两个维度间没有相关性的样本,所以有:

另一方面L是个对角矩阵,将这两个结论带入,如下:

是不是觉得眼熟?回忆一下2.1.6节中的讲解,这正是在求本征向量。虽然这里并不是一个严格的证明,但是从直观的角度联系起了协方差矩阵的本征向量、本征值和主成分方向及大小的关系。讲到这里基本就很清晰了。所以我们来求一下图2-33所示的协方差矩阵的特征值和特征向量,得到结果是本征向量为(/2, /2)和(-/2, /2),对应的本征值分别为1.5和0.5。可以看到本征值大的显然就对应着最主要的成分,本征值小就对应着不那么重要的成分。协方差矩阵的本征向量代表的几何含义已经很清楚了,而根据前面对协方差矩阵公式的推导,本征值就是样本投影到对应本征向量上之后的值的方差大小。所以从图2-33中所示椭圆的角度看,主成分分析中主成分大小和本征值的区别在于数据分布所在的“椭圆”的轴的长度是正比于本征值开根号(标准差),而不是本征值本身。

喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书频道活动讨论群:365934973

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

Cisco网络技术教程(第2版)

本书作为思科认证体系中的入门级教材,主要讲述了网络的基本知识和思科设备的基本命令,以及路由、交换等深层次网络知识的入门知识,其体系...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊