|
|
|
|
移动端

2.3.13 其他降维手段

《深度学习与计算机视觉:算法原理、框架应用与代码实现》第2章 深度学习和计算机视觉中的基础数学知识,本章会尽量从定性的角度讲解一些与深度学习、计算视觉紧密联系的基础数学概念,不一定会很严谨细致,但力求简单、形象。本节为大家介绍其他降维手段。

作者:叶韵来源:机械工业出版社|2017-11-16 18:13

年前最后一场技术盛宴 | 1月27日与京东、日志易技术大咖畅聊智能化运维发展趋势!


2.3.13  其他降维手段

在2.3.12节中也提到过,总体而言,如果一个输入经过某个变换后,得到的是低维的输出,并且这个输出能够通过逆变换近似重建输入的话,这种变换就可以认为是执行了降维。这里简单地提一下一些常见的其他降维手段,有兴趣的读者可以自行进行更多研究。

PCA是线性降维手段中非常经典的一种,为了引入非线性,人们想出了在求协方差之前先做一次非线性变换,再求协方差矩阵的办法,这个是Kernel PCA。能解决一些非线性下的降维,比如一种数据围着另一种数据的情况。

PCA是一种基于数据本身的分布进行降维的手段,算是无监督的。如果已经知道了数据的类别,一个思路是让原始数据经过投影,在低维空间上不同类别的分布中心尽可能远离,相同类别的分布方差尽可能小,这个就是线性判别分析(Linear Discriminant Analysis,LDA)。

前面也提到过,当数据是如图2-39所示时,在局部区域内有着非常强的相关性,而且样本在这个局部区域内可以被一个低维度空间很好描述,那么就可以认为数据是在一个低维的流形(manifold)上的。Isomap和前面提到的局部线性嵌入都是针对这种情况的降维办法。

神经网络也是可以执行降维的一种手段,当对于一个输入,隐藏单元小于输入维度数量时,常常能达到降维的效果,比如Tom Mitchell在其经典教材《机器学习》中举过的用神经网络重建输入的经典例子,用一个8输入、8输出,包含3个隐藏单元的单隐藏层网络,重建长度为8的one-hot编码,网络能够自动学习出8个二进制编码,这也是一种降维。事实上神经网络中,降维非常常见,从各种自编码手段,到最近开始吸引眼球且英文名字很霸气的生成式对抗网络(Generative Adversarial Networks,GAN),都可以看到用作降维。关于神经网络的内容第3章会详细讨论。

有的时候样本数量并不大,我们可以知道每两个样本之间的距离,或者是差异性的某种度量。那么一个想法就是将这种高维空间中的距离或者差异性的大小,通过变换后在低维空间中也得到保持。距离和差异性在低维空间中可以表示成欧氏距离,于是有了多维缩放(Multi-Dimensional Scaling,MDS);也可以表示成条件概率,于是有了随机近邻嵌入(Stochastic Neighbor Embedding,SNE)可视化专用版t-SNE。一般来说这种类型的降维更多用于数据可视化。另外还有最近华人学者Jian Tang提出了LargeVis,和t-SNE相比大大减少了计算消耗,效果拔群。


喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书频道活动讨论群:365934973

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

Cisco CCNA 640-801

Cisco 640-801 Cisco® Certified Network Associate (CCNA®) Q&A with explanations Version 93.0...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊