|
|
51CTO旗下网站
|
|
移动端

2.5.8 其他自适应算法

《深度学习与计算机视觉:算法原理、框架应用与代码实现》第2章 深度学习和计算机视觉中的基础数学知识,本章会尽量从定性的角度讲解一些与深度学习、计算视觉紧密联系的基础数学概念,不一定会很严谨细致,但力求简单、形象。本节为大家介绍其他自适应算法。

作者:叶韵来源:机械工业出版社|2017-11-16 18:31

2.5.8  其他自适应算法

AdaGrad和AdaDelta算是最有代表性的两种自适应算法,在之后比较流行的还有和AdaDelta很像的RMSProp、Adam、Adamax等算法,在一定程度上来说都能看到这两种算法的影子,在这里就不详细介绍了。

在深度学习的实际应用中,因为问题的高维度和高复杂性的特点,具体哪种优化算法更适合还需要具体的尝试。一般情况下带冲量的梯度下降法还是最主流的,不过对于收敛不好的情况,自适应算法常常能收到奇效。不过一种常见的情况是,在优化的后期,自适应算法尤其是AdaDelta和RMSProp常常会反复“震荡”,效果不如带冲量的梯度下降法。


喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书频道活动讨论群:365934973

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

程序员教程(第2版)

本书按照人事部、信息产业部全国计算机技术与软件专业技术资格(水平)考试程序员考试大纲编写,是对2004版的修订版,内容包括计算机系统、...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊