|
|
|
|
移动端

2.2.2 期望值、方差和协方差

《深度学习与计算机视觉:算法原理、框架应用与代码实现》本书全面介绍了深度学习及计算机视觉中最基础的知识,并结合最常见的应用场景和大量实例,带领读者进入丰富多彩的计算机视觉领域。作为一本“原理+实践”教程,本书在讲解原理的基础上,通过有趣的实例带领读者一步步亲自动手,不断提高动手能力,而不是枯燥和深奥原理的堆砌。本节为大家介绍期望值、方差和协方差。

作者:叶韵来源:机械工业出版社|2017-10-23 12:20

开发者盛宴来袭!7月28日51CTO首届开发者大赛决赛带来技术创新分享

2.2.2  期望值、方差和协方差

考虑离散情况,期望值的定义如下:

从定义来看就是变量值和其对应的概率的乘积,在整个定义域上的求和,简单说就是以概率为加权系数的求和。当然这是定义,联系实际,白话的解释就是在长时重复观测下,目标数据的平均值。例如,我们观察到跳广场舞大妈们的身高服从一个高斯分布,分布的中心是一米六二,大妈们身高的期望值就是一米六二。

那么接下来我们希望知道大妈们的身高差异是否很大,也就是一组数据的离散程度如何,这个时候可以用方差:

方差开方的话就是标准差,都可以用来度量一组结果的离散程度。通常在计算方差的时候,下面这个公式更常用一些。

方差度量的是单个变量的离散程度,如果是多维变量的话则需要协方差,协方差定义如下:

从定义上来看,协方差度量的是两个变量离散程度的大小以及相互之间的趋势的一致性。如果两个变量相应的观测每次都相对于期望值的趋势一致,比方说x大于E(X)时,相应的y也大于E(Y),而x小于E(X)时,y也小于E(Y),那么协方差的值就大于0;如果x和对应的y每次观测到的相对于期望值的趋势相反,则协方差小于0;如果X和Y并没有趋势上的关联,则协方差会接近0。所以协方差实际上包含了两个变量之间的统计相关性。

在实际问题中,我们常将协方差表示为一个矩阵,考虑一组变量X1, X2, …, Xn其协方差矩阵定义如下:

协方差矩阵能描述方差,还有变量之间的趋势相关性,不过因为不同维度之间的协方差大小依赖于两个维度方差的大小,所以比较起来并不直接。一种更容易让人理解的方式是相关系数矩阵,定义如下:

其中,σi和σj分别是两个维度的标准差,也就是协方差矩阵对角元素开方的值。从相关系数矩阵的定义也可以知道,相关系数矩阵的值等效于将数据做了方差归一化之后的协方差矩阵的值。比起协方差,相关性系数对趋势是否相同的度量更加一目了然,而且使得不同量级之间的两两趋势相似度可以直接量化比较。

还是用广场舞大妈的例子来理解协方差包含的趋势信息。如我们获取了每个广场舞大妈的年龄和跳舞时长的数据,多半会发现这两个数据的协方差以及相关性系数是个负值。因为一般来说年龄越大,体力越差,跳舞时间就会越短。当然也不排除有个别大妈天赋异禀,80多岁了还能蹦跶全场,不过总体而言这个年龄和跳舞时长的相反趋势是靠谱的。

那么年龄和跳舞时长的协方差绝对值的大小呢?这个取决于参加广场舞的大妈们的年龄段。如果有限制,只允许50~60岁的大妈参加,那么也许60岁的大妈跳半小时累了,50岁的大妈则能多跳到一个小时;再考虑另一种情况,不限年龄,也许有的十几岁小姑娘也凑热闹,跳了5个小时直到半夜。90岁的老奶奶也来锻炼,5分钟就歇了。那么后者的协方差绝对值显然大于前者。

喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书频道活动讨论群:365934973

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

WebWork in Action中文版

本书是一本从头至尾都使用现实世界例子讲述有关编写Web应用程序的书籍。WebWork所强调的内容是:利用框架实现你的项目,而不是被框架所阻碍...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊