|
|
|
|
移动端

2.5.8 其他自适应算法

《深度学习与计算机视觉:算法原理、框架应用与代码实现》本书全面介绍了深度学习及计算机视觉中最基础的知识,并结合最常见的应用场景和大量实例,带领读者进入丰富多彩的计算机视觉领域。作为一本“原理+实践”教程,本书在讲解原理的基础上,通过有趣的实例带领读者一步步亲自动手,不断提高动手能力,而不是枯燥和深奥原理的堆砌。本节为大家介绍其他自适应算法。

作者:叶韵来源:机械工业出版社|2017-10-23 17:06

【新品产上线啦】51CTO播客,随时随地,碎片化学习

2.5.8  其他自适应算法

AdaGrad和AdaDelta算是最有代表性的两种自适应算法,在之后比较流行的还有和AdaDelta很像的RMSProp、Adam、Adamax等算法,在一定程度上来说都能看到这两种算法的影子,在这里就不详细介绍了。

在深度学习的实际应用中,因为问题的高维度和高复杂性的特点,具体哪种优化算法更适合还需要具体的尝试。一般情况下带冲量的梯度下降法还是最主流的,不过对于收敛不好的情况,自适应算法常常能收到奇效。不过一种常见的情况是,在优化的后期,自适应算法尤其是AdaDelta和RMSProp常常会反复“震荡”,效果不如带冲量的梯度下降法。

喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书频道活动讨论群:365934973

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

Windows Server 2003网络管理员完全手册

本书综合介绍了微软的Windows Server 2003操作系统和微软其他常用应用软件提供的服务,同时融入了作者在Windows网络管理上的多年实际应用经...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊