|
|
|
|
移动端

2.5.11 逻辑回归

《深度学习与计算机视觉:算法原理、框架应用与代码实现》第2章 深度学习和计算机视觉中的基础数学知识,本章会尽量从定性的角度讲解一些与深度学习、计算视觉紧密联系的基础数学概念,不一定会很严谨细致,但力求简单、形象。本节为大家介绍逻辑回归。

作者:叶韵来源:机械工业出版社|2017-11-16 18:34

【新品产上线啦】51CTO播客,随时随地,碎片化学习

2.5.11  逻辑回归

逻辑回归并没有什么逻辑,英文是logistic regression。逻辑回归是统计中的一种经典方法,发明者是在统计学教材里经常出现的David Cox。这里之所以放到数学优化部分讲是因为在机器学习领域,逻辑回归和分类问题的联系十分紧密。

还是考虑简单二分类问题,如图2-54所示。

图2-54中是两种分布在平面上的样本,划定出一条线性分类边界(虚线),认为在分类边界左下方的都是△,右上方的都是○。上个部分已经讲了,直接对标签进行回归,不如去计算样本属于某个标签的概率。通过肉眼观察,我们发现规律,离分类边界的距离越远的,则属于该半边平面类别的可能性越高。这对于一个线性分类边界已经是一个足够好的判定标准。所以可以考虑计算出每个点到分类边界的距离。并且可以定义这个距离的方向性,我们定义在分类边界左下方的点,这个距离是负值,否则这个距离就是正值。这等效于将所有点的坐标都投影到一个垂直于分类边界,指向右上方的方向上(x)。

所以接下来要做的就是把样本到分类边界的距离转化为概率。这时候logistic函数可以登场了。logistic函数定义如下:

wx+b是个仿射变换,无论x是任何维度,最后经过这个仿射变换都会化为一个标量。具体到例子中,x是个一维的变量。所以我们更关心仿射变换后的值对应的概率,令t=wx+b,把的曲线画在图2-55中。

这种形式又叫做标准logistic函数。如图2-55所示,标准logistic函数是个关于(0,0.5)旋转对称的函数,值域是(0,1)。t的值越小于0的时候,函数值小于0.5,否则大于0.5。我们可以把这个函数的输出看做是概率,还是考虑△和○分类的例子。比如t=x,也就是直接拿到分类边界的距离作为计算概率的依据。显然,x算出来大于0的时候,分类结果为○,并且x值越大,分类为△的概率越接近1;反之若x小于0,则分类结果为△,x离远点越远,分类为○的概率也越低,因为P(△)=1-P(○),所以分类为△的概率越高。这正好是前面的直观判断。接下来找到一组合适参数的过程就很显然了,似然最大化,前面已经讲过了。

所以简单来说,逻辑回归把任何输入通过变换化成0~1之间的数值,用来代表概率。也就是说任何一个能合理将值化为对应二分类概率的函数理论上都是可行的。其中logistic函数除了合理以外,其形式还易于NLL及求导计算,所以在分类问题中被大肆使用。


喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书频道活动讨论群:365934973

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

网管第一课——网络组建与管理

本书针对初级网管朋友所需掌握的网络组建和网络管理技能,以示例方式编写而成,其主要特点就是实用性和可操作性非常强。 全书共分8章,分...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊