|
|
|
|
移动端

2.2.6 KL散度和MLE的联系

《深度学习与计算机视觉:算法原理、框架应用与代码实现》本书全面介绍了深度学习及计算机视觉中最基础的知识,并结合最常见的应用场景和大量实例,带领读者进入丰富多彩的计算机视觉领域。作为一本“原理+实践”教程,本书在讲解原理的基础上,通过有趣的实例带领读者一步步亲自动手,不断提高动手能力,而不是枯燥和深奥原理的堆砌。本节为大家介绍KL散度和MLE的联系。

作者:叶韵来源:机械工业出版社|2017-10-23 16:09

【新品产上线啦】51CTO播客,随时随地,碎片化学习

2.2.6  KL散度和MLE的联系

2.2.4节中讲了如何让数据和分布的吻合度最高,因为KL散度表示的是两个分布的差异,所以最小化KL散度是等效于MLE的。下面用一个不严谨的推导来说明这件事,还是从KL散度的展开出发。

假设真实分布式P,采样的分布是Q。从Q中抽样了n个样本{x1,x2,…,xn},来求出对P(x)的估计:

其中δ(x)是狄拉克函数,当x=0时δ(x)=1,否则δ(x)=0。把这一项带入到公式2-31,得到:

因为是采样离散的值,所以中的项只有x=xi的时候狄拉克函数才为1,也就是说这项可以化为1,所以有如下:

可以看到第一项除了前面的系数-1/n和后边的一项H(P),其实就是对数似然函数。这样最小化KL散度就和MLE建立了联系。

喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书频道活动讨论群:365934973

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

C#入门经典(第3版)

本书将全面介绍C#编程的所有知识,共分为5篇:第1篇是C#语言:介绍了C#语言的所有内容,从基础知识到面向对象的技术,应有尽有。第2篇是Win...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊