|
|
|
|
移动端

1.1.4 人工神经网络的兴起

《深度学习与计算机视觉:算法原理、框架应用与代码实现》本书全面介绍了深度学习及计算机视觉中最基础的知识,并结合最常见的应用场景和大量实例,带领读者进入丰富多彩的计算机视觉领域。作为一本“原理+实践”教程,本书在讲解原理的基础上,通过有趣的实例带领读者一步步亲自动手,不断提高动手能力,而不是枯燥和深奥原理的堆砌。本节为大家介绍人工神经网络的兴起。

作者:叶韵来源:机械工业出版社|2017-10-22 17:22

开发者盛宴来袭!7月28日51CTO首届开发者大赛决赛带来技术创新分享

1.1.4  人工神经网络的兴起

1943年,美国神经生理学家沃伦·麦克洛奇(Warren McCulloch)和逻辑学家沃尔特·匹茨(Walter Pitts)一起提出了一种简单的计算模型来模拟神经元,我们把这种模型称为M-P模型,其形式如图1-3所示。

M-P模型的论文是人类历史上第一次对人工神经网络的系统性研究。在M-P模型中,所有的值都是0和1,所有输入节点模拟神经元的树突,输入信号的求和通过一个阈值θ比较决定输出值来模拟信号的输出。M-P模型表达成公式的形式如下:

可以看出,M-P模型中所有的值都是0和1,可以用来模拟最基本的二进制逻辑。然而这也成了M-P模型的局限性,即只有用于模拟信号电平的二值(0和1),并且每个输入信号的权重都是一样的。1949年,加拿大心理学家唐纳德·赫布(Donald Hebb)提出了赫布学习(Hebbian Learning)规则。大意是神经系统响应一个信号时,同时被激活的神经元之间的联系会被强化。以这种规律为基础,赫布将神经元之间连接的强弱以权值的方式引入了计算模型,并且提出了一套修改权值的规则让模型可以“学习”。在M-P模型的基础上和赫布学习规则的启发下,1956年,美国心理学家弗兰克·罗森布拉特(Frank Rosenblatt)提出了著名的感知机(Perceptron)。这种模型不仅在M-P模型基础上加入了权值,并且跳出了二值的限制,最重要的是,罗森布拉特给出了这种模型的权值修改方法:通过公式记录感知器对训练数据的正确率,然后根据正确率对权值进行更新。这样就相当于感知机进行了针对某个数据任务的“训练”。不过总体而言这种“训练”是半手动的,非常低效。感知机提出后,罗森布拉特用硬件电路做了简单的实现,并且完成了一些在那个年代非常激动人心的任务,如通过光传感器阵列来模拟视网膜并识别一些简单的字母。

Tips:感知机的结构非常简单,相比起M-P模型更加灵活,后来成为了人工神经网络的基础,关于感知机的细节和作用将留在第3章详细讨论。

前面已经提到过维纳发表的控制论对人工神经网络的研究有重要的影响。提出M-P模型的麦克洛奇和匹茨在麻省理工学院(MIT)时都是维纳的小弟,匹茨还曾是维纳的特招生,然后就是在他们的基础上提出感知机的罗森布拉特,这几位在当时是神经网络研究的代表人物,尤其是罗森布拉特,在感知机发表后不遗余力推广神经网络,于1962年还出版了一本书《Principles of Neurodynamics: Perceptrons and The Theory of Brain Mechanisms》,系统地总结了自己对神经网络的研究。那时第一次神经网络的研究热潮达到了巅峰,罗森布拉特拿各种科研资金拿到手软。

喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码

 


51CTO读书频道活动讨论群:365934973

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

Oracle 10g应用指导与案例精讲

本书作者结合自己多年实践经验,从Oracle开发应用中遇到的问题着手,全面系统地介绍Oracle的安装与卸载、数据字典、安全管理以及用PL/SQL开...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊