|
|
|
|
移动端

1.1.6 神经网络的第一次复兴

《深度学习与计算机视觉:算法原理、框架应用与代码实现》本书全面介绍了深度学习及计算机视觉中最基础的知识,并结合最常见的应用场景和大量实例,带领读者进入丰富多彩的计算机视觉领域。本节为大家介绍神经网络的第一次复兴。

作者:叶韵来源:机械工业出版社|2017-11-16 17:13

年前最后一场技术盛宴 | 1月27日与京东、日志易技术大咖畅聊智能化运维发展趋势!


1.1.6  神经网络的第一次复兴

在沉寂了近10年之后,神经网络的研究又开始慢慢复苏。1982年,加州理工的生物物理学家约翰·霍普菲尔德(John Hopfield)提出了一种反馈型神经网络,即Hopfield网络。和Hebbian学习规则一样,Hopfield网络提出的最初目的是偏向于神经学科,用于研究记忆的机制,而结果是这种网络成功地解决了一些识别和约束优化的问题,引起了很大的反响。这让神经网络领域的连接主义研究者们非常振奋,渐渐地许多研究者又将目光再次移向了神经网络。同时一些新的研究中心建立起来,并开始吸引许多老一辈的神经网络研究者和后起之秀。这其中就有后来的深度学习“祖师爷”之一的杰弗里·辛顿(Geoffrey Hinton)。

在第一次神经网络的寒冬开始时,辛顿刚刚开始读研究生。凭借着对神经网络的浓厚兴趣,他并没有在这段寒冬岁月放弃对神经网络的研究。到了1978年,他在爱丁堡大学完成了博士学习,然后历经辗转,于1980年到了美国加州大学圣迭戈分校(UCSD)攻读博士后。那时UCSD正走在连接主义学派复兴的前沿,其中两位代表人物是两位心理学家大卫·鲁梅哈特(David Rumelhart)和詹姆斯·麦克利兰德(James McClelland)。在那里辛顿加入了UCSD认知科学中心的研究小组,并与鲁梅哈特和麦克利兰德建立了良好的合作。两年后辛顿到了卡耐基梅隆大学,于1986年和鲁梅哈特合作发表了论文《Learning Representations by Back-Propagating Errors》,提出了后向传播算法(Back Propogation,简称BP算法,关于该算法更详细的内容将于第3章进行介绍)。BP算法解决的正是明斯基在《感知机:计算几何学》中指出的双层网络难以训练的问题。BP算法使一层以上的神经网络进入实用阶段,开启了第二轮神经网络的研究热潮。1987年,鲁梅哈特转到了斯坦福大学当教授,在这里他培养出了后来的机器学习大神,继承了他图论造诣的迈克尔·乔丹(Micheal Jordan)。而乔丹后来的学生里又出现了两个深度学习的代表人物,一个是博士生吴恩达(Andrew Ng),还有一个是博士后,即后来深度学习创始人之一约书亚·本吉奥(Yoshua Bengio)。

再来看辛顿,在祭出了复兴神经网络的“大杀器”BP算法后,又几经辗转,于1987年到了多伦达大学当教授。在这里他又遇到了后来深度学习的又一个始祖级人物杨乐昆(Yann LeCun),杨乐昆出生于法国,并在那里完成了博士的所有学业。就在辛顿到了多伦多的同一年,他也来到了多伦多大学,成为辛顿组里的一名博士后。在那里他做了一些关于BP算法的理论研究,并在一年后加入了贝尔实验室(AT&T Bell Lab)。在贝尔实验室,基于后向传播算法,杨乐昆提出了后来名满天下,第一个真正意义上的深度学习,也是目前深度学习中应用最广的神经网络结构——卷积神经网络(Convolutional Neural Networks)。卷积神经网络在当时就对手写字母达到了很高的识别率,并被广泛应用于欧美许多大银行的自动手写识别系统。更多关于卷积神经网络的细节会在第4章详细介绍。

1989年,美国应用数学家乔治·塞班克(George Cybenko)证明了神经网络可以被看作是一个通用逼近函数,一个隐藏层的网络可以逼近任意连续函数,两个隐藏层的网络可以逼近任意函数。这个理论在后来又被奥地利数学家科特·霍尼克(Kurt Hornik)完善,也就是说神经网络的拟合能力是接近无限强的,任意复杂的分类决策边界都可以被逼近,至此神经网络的研究又进入了一个新的高潮。


喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书频道活动讨论群:365934973

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

Linux安全体系分析与编程

本书选择经典的开放源代码,全面系统地分析了Linux安全机制。本书共有17章,前10章着重介绍了Linux操作系统的安全机制及实现方法,阐述了公...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊