|
|
51CTO旗下网站
|
|
移动端

2.2.4 最大似然估计(Maximum Likelihood Estimation,MLE)

《深度学习与计算机视觉:算法原理、框架应用与代码实现》第2章 深度学习和计算机视觉中的基础数学知识,本章会尽量从定性的角度讲解一些与深度学习、计算视觉紧密联系的基础数学概念,不一定会很严谨细致,但力求简单、形象。本节为大家介绍最大似然估计(Maximum Likelihood Estimation,MLE)。

作者:叶韵来源:机械工业出版社|2017-11-16 17:50

2.2.4  最大似然估计(Maximum Likelihood Estimation,MLE)

在机器学习中,常常面临的一个问题通常是有了观测到的数据,需要一个模型分布来解释,这个时候最大似然估计是一个不错的方法。首先来了解一下似然函数。

直观理解就是给定了观测到的数据,和分布的形式,把分布的参数作为输入,得到在该组参数下观测到的数据x在该分布下的概率。根据似然函数的描述,有个很自然的问题就是,如果给定观测的数据和分布,如何才能找到一组参数,让分布和数据最大程度地吻合?这个问题就是最大似然估计要解决的。顾名思义,最大似然估计要解决的是下面问题。

具体来说,对于一组观测到的数据{x1,x2,…,xn},最大似然的参数为下面的问题:

用一个简单例子来看一下,如图2-21所示,为一组观测到的数据在3组不同的正态分布参数下的可视化例子。

图2-21左边是标准正态分布,均值μ=0,标准差σ=1,求出似然函数值为6.03×10-8。可以看到显然拟合度不是很好,样本都在分布的右半边。中间是随便取μ=1,σ=3,求出似然函数值为一个更小的值2.37×10-11,视觉上的拟合度更差了,都集中在中心区域。右边是似然最大的一组参数μ=0.77,σ=0.58,似然函数值2.91×10-5,样本看上去也像是服从这个分布了。

在实际的使用中样本量巨大的情况下,乘法计算量相对很大,而且连续相乘可能会得到非常小的值。无论是从数值计算的效率还是误差的角度,都是希望避免的情况。所以比起原始的似然函数,实际应用中使用的一般都是对数似然函数(log-likelihood)。

采用取对数后,不仅将乘法化成了加法,并且求导也因为log函数的性质变得更简单。求最大似然常常需要优化算法,求导的简化让算法效率得到了提高。另外log也会让不同量级的数值更加容易比较,也会优化求最大似然的数值计算效率和稳定性。关于更多优化算法和数值计算的知识,本章后面会讲到。


喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书频道活动讨论群:365934973

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

八万里路云和月——一个国家扶贫开发工作重点县的

通榆,这个距离各个交通枢纽都十万八千里的偏僻小县城,搭载着电子商务的快车,踏上了云高速,开辟了如火如荼的电商致富的新战场,实现了一...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊