|
|
|
|
移动端

2.3.9 PCA——通过本征向量和本征值求主成分

《深度学习与计算机视觉:算法原理、框架应用与代码实现》第2章 深度学习和计算机视觉中的基础数学知识,本章会尽量从定性的角度讲解一些与深度学习、计算视觉紧密联系的基础数学概念,不一定会很严谨细致,但力求简单、形象。本节为大家介绍PCA——通过本征向量和本征值求主成分。

作者:叶韵来源:机械工业出版社|2017-11-16 18:08

2.3.9  PCA——通过本征向量和本征值求主成分

那么应该如何求出这个变化剧烈程度最大的方向呢?还是考虑图2-33中所示的样本X,如果这些样本是经过一个标准差为1,两个维度相互独立的高斯分布样本XU,先经过沿每个轴的缩放(L),再乘以一个正交矩阵U旋转而得到的,如图2-34所示。

所以有:

并且U中的每个行向量就是要求的投影方向,其中对应缩放值最大的方向就是主成分所在的方向。之所以有这么别扭的一项,是为了方便接下来的推导公式:因为X的每个维度的均值都是0,所以根据协方差矩阵的计算公式,有如下:

所以协方差矩阵公式如下:

其中N是样本个数,因为XU是方差为1,且两个维度间没有相关性的样本,所以有:

另一方面L是个对角矩阵,将这两个结论带入,如下:

是不是觉得眼熟?回忆一下2.1.6节中的讲解,这正是在求本征向量。虽然这里并不是一个严格的证明,但是从直观的角度联系起了协方差矩阵的本征向量、本征值和主成分方向及大小的关系。讲到这里基本就很清晰了。所以我们来求一下图2-33所示的协方差矩阵的特征值和特征向量,得到结果是本征向量为(/2, /2)和(-/2, /2),对应的本征值分别为1.5和0.5。可以看到本征值大的显然就对应着最主要的成分,本征值小就对应着不那么重要的成分。协方差矩阵的本征向量代表的几何含义已经很清楚了,而根据前面对协方差矩阵公式的推导,本征值就是样本投影到对应本征向量上之后的值的方差大小。所以从图2-33中所示椭圆的角度看,主成分分析中主成分大小和本征值的区别在于数据分布所在的“椭圆”的轴的长度是正比于本征值开根号(标准差),而不是本征值本身。


喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书频道活动讨论群:365934973

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

超级网管员——网络应用

本书全面、深入地介绍了网络应用技术,主要内容包括:RMS权限管理服务、Exchange邮件服务、LCS即时消息服务、WSUS系统更新服务、Symantec网...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊