|
|
|
|
移动端

2.2.6 KL散度和MLE的联系

《深度学习与计算机视觉:算法原理、框架应用与代码实现》第2章 深度学习和计算机视觉中的基础数学知识,本章会尽量从定性的角度讲解一些与深度学习、计算视觉紧密联系的基础数学概念,不一定会很严谨细致,但力求简单、形象。本节为大家介绍KL散度和MLE的联系。

作者:叶韵来源:机械工业出版社|2017-11-16 17:53

有奖调研 | 1TB硬盘等你拿 AI+区块链的发展趋势及应用调研


2.2.6  KL散度和MLE的联系

2.2.4节中讲了如何让数据和分布的吻合度最高,因为KL散度表示的是两个分布的差异,所以最小化KL散度是等效于MLE的。下面用一个不严谨的推导来说明这件事,还是从KL散度的展开出发。

假设真实分布式P,采样的分布是Q。从Q中抽样了n个样本{x1,x2,…,xn},来求出对P(x)的估计:

其中δ(x)是狄拉克函数,当x=0时δ(x)=1,否则δ(x)=0。把这一项带入到公式2-31,得到:

因为是采样离散的值,所以中的项只有x=xi的时候狄拉克函数才为1,也就是说这项可以化为1,所以有如下:

可以看到第一项除了前面的系数-1/n和后边的一项H(P),其实就是对数似然函数。这样最小化KL散度就和MLE建立了联系。


喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书频道活动讨论群:365934973

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

3D游戏开发大全(高级篇)

在我的第一本书——《3D游戏开发大全》中,我们曾经对3D游戏开发完成了一次犹如探索原始丛林般的旅程:首先,我们对3D游戏产业进行了初步了...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊