|
|
|
|
移动端

1.1.8 2006年——深度学习的起点

《深度学习与计算机视觉:算法原理、框架应用与代码实现》本书全面介绍了深度学习及计算机视觉中最基础的知识,并结合最常见的应用场景和大量实例,带领读者进入丰富多彩的计算机视觉领域。作为一本“原理+实践”教程,本书在讲解原理的基础上,通过有趣的实例带领读者一步步亲自动手,不断提高动手能力,而不是枯燥和深奥原理的堆砌。本节为大家介绍2006年——深度学习的起点。

作者:叶韵来源:机械工业出版社|2017-10-22 17:29

开发者盛宴来袭!7月28日51CTO首届开发者大赛决赛带来技术创新分享

1.1.8  2006年——深度学习的起点

在科研领域总是有这么一些人,无论热点和资金在哪,他们都不会动摇。在第二次神经网络的寒冬到来时,辛顿、杨乐昆、本吉奥和尤尔根等仍然坚持着神经网络的研究。到了21世纪初的时候,随着随机森林(Random Forest)和AdaBoost等方法的兴起,神经网络研究的处境更是雪上加霜,根据辛顿和杨乐昆的回忆,那个时候他们的学生完成的和神经网络沾边的文章被拒是家常便饭。其实和SVM等方法比起来,神经网络有一个非常大的优点即分布式表征(Distributed Representation。关于分布式表征的更详细内容将在第4章进行介绍)。在浅层神经网络中,虽然这个优点也有,但并不容易体现出来,所以一个重要的努力方向是克服BP算法的误差传播问题,将网络变得更深。1997年,尤尔根提出了LSTM,在一定程度上解决了BP算法中的误差传播问题,形成了一定的影响,但受到计算能力等因素的影响,当时并没有流行起来。到了2004年,神经网络方向的研究进入了最低谷,这年辛顿的重要资金来源加拿大高等研究所(Canadian Institute For Advanced Research,CIFAR),又到了评审项目资助的时候。因为神经网络的颓势,CIFAR在当时已经是极少数还愿意支持神经网络相关研究的机构,当时除了辛顿以外所有其他的受资助人都在做其他方向的研究。在这种举步维艰的情况下,辛顿终于还是成功说服CIFAR的评审委员,拿到了一笔不大的资助让研究得以维持。在这笔资助下,经过两年的卧薪尝胆,辛顿在2006年发表了一篇突破性的文章《A Fast Learning Algorithm for Deep Belief Nets》,这篇论文里辛顿介绍了一种成功训练多层神经网络的办法,他将这种神经网络称为深度信念网络。深度信念网络的基本思想是用一种叫受限波尔兹曼机(Restricted Boltzmann Machine,RBM)的结构得到生成模型(Generative Model)。受限波尔兹曼机的结构如图1-5所示。

要注意的是,和常见的神经网络不同,RBM的结构是无向图,本质上讲是一个马尔科夫随机场。因为RBM的应用和本书关系不大,所以这里并不会深入RBM的细节。简单来理解,可以把RBM看作一个输入+单隐层的网络,层内无连接,层间是全连接。其中图1-5中的单元名称为v的是输入层,对应观测(visible)到的数据,h的一层对应于隐(hidden)变量。训练RBM的效果是可以让网络学习及产生输入数据,也就是v的分布。

对于深度神经网络而言,RBM的原理可以简单理解如下:首先学习大量无标注数据,然后在隐藏层提取出数据的特征,而这个特征就可以重现数据的分布。如果隐层单元数量远小于可见单元的数量,则相当于降维,如果隐层单元大部分都是0,则相当于学习到了稀疏的表示。而当这样的结构学习到之后,就有了每个连接的权重,这时候把RBM的结构当作有向图来使用,就相当于得到了一个最简单的神经网络,并且学到了一层特征。而如果接下来继续这个过程,把学到的特征作为另一个RBM的输入进行学习,则相当于又学到了更加高层的表示,于是一层层堆起来就成了一个深层的网络,也就是文章标题里提到的深度信念网络(DBN)。这样一个网络已经有了学习到的权重,可以看作是对网络一个非常好的初始化,这个过程叫做预训练(pre-train)。然后再按照传统的BP算法,结合标注的数据对这个网络进行训练,此时预训练的权重相当于把网络初始化到了一个很好的起点上,所以BP算法只需要进行局部的搜索就可以收敛到一个不错的结果,这个BP算法训练过程也叫做微调(finetune)。

无论是RBM,还是这种一层层训练的办法,在今天的大部分深度学习应用中看来已经没什么特别的优势。但当时这个办法颠覆了之前被学术界大部分人默认的深度网络不能被训练的观点。另外,还有可以利用无标注数据的优点。更重要的是,DBN一出,立刻在效果上打败了风光已久的SVM,这让许多研究者的目光重新回到了神经网络。与辛顿发表论文的同一年,本吉奥和杨乐昆也在之后的神经信息处理系统会议(Conference on Neural Information Processing Systems,NIPS)上发表了两篇深度网络的论文。一篇探讨了辛顿的方法并比较了基于自编码机(auto-encoder)的深度网络,一篇讨论和辛顿方法类似的办法,用于初始化卷积神经网络,并在手写数字识别上达到了当时最好的效果。这三篇论文算是重振神经网络的开山之作,而这三位研究者现在也是领域内公认的三巨头。可能是之前神经网络不招人待见的经历让辛顿郁闷了太久,所以当初他拿到CIFAR资助的时候就给接下来的研究想了一个新的名字——Deep Learning,于是深度学习正式登场。

TIPS:Deep Learning的来源

Deep Learning并不是2006年才出现的新词,最早正式在学术刊物里出现是1986年。加州大学尔湾分校(University of California,Irvine)计算机系的教授丽娜·德科特(Rina Dechter)在发表的论文《Learning While Searching in Constraint- Satisfaction Problems》里第一次提出了Deep Learning这个词。

喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码

 


51CTO读书频道活动讨论群:365934973

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

SQL Server 2005中文版精粹

本书内容包括: ● 框架的总览:SQL Server 2005的功能是如何集成在一起的,以及这些功能对于用户的意义。 ● 安全性管理、策略...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊