|
|
|
|
移动端

2.3.2 高维空间中的体积

《深度学习与计算机视觉:算法原理、框架应用与代码实现》第2章 深度学习和计算机视觉中的基础数学知识,本章会尽量从定性的角度讲解一些与深度学习、计算视觉紧密联系的基础数学概念,不一定会很严谨细致,但力求简单、形象。本节为大家介绍高维空间中的体积。

作者:叶韵来源:机械工业出版社|2017-11-16 17:56

2.3.2  高维空间中的体积

我们来考虑一个最简单的情况,在一个二维空间里的单位圆里均匀采样。最简单的想法就是先用蒙特卡洛生成和单位圆外切的正方形中的样本,然后通过判断到原点的距离保留下在圆内部的样本,如图2-23a所示。

这种方法虽然简单,但是有一个问题是位于圆外的采样点被浪费了,根据圆面积公式和正方形面积公式可以算出这种办法的采样效率为:

其中r为半径,在图2-23例子中r=1。可以看到,虽然浪费了边角的采样点,但是采样效率还是接近80%的。接下来看看三维空间中的情况,如图2-23b,同样是先在一个立方体内进行采样,然后保留内切球内部的采样点,则采样效率是球体积除以立方体体积。

采样效率瞬间降至接近50%。接下来继续考虑更高维度情况,对于一个n维超球体,其体积为:

其中Г(x)为Gamma函数,对于n为正整数的情况,这个公式可以写成我们更容易理解的形式如下。

公式前半部分虽然更容易理解了,不过还是很复杂,我们重点看后半部分,对于第n维超球体而言,其体积就是n-2维超球体乘上2πr2/n,是一种递归关系。对于单位球体而言则是2π/n,注意到当n<7的时候,这一项是大于1的,也就是说随着维度的增加,体积是增加的。而n≥7时,这一项小于1,于是随着维度的增加,单位超球体的体积是越来越小的。所以总体来说,随着维度的增加,超球体的体积是先上升后下降的(超球体的表面积也有类似趋势,有兴趣的读者可以自行调研)。如果把1维也考虑进来,则对于单位超球体,其体积随维度的趋势如图2-24所示。

如果之前从没有接触过高维空间,这个结论可以让我们从体积角度对高维空间有了一个初步的反直观的认识。可以看到,随着维度的增加,单位超球体的体积是趋于0的。然后再回到采样的问题上,知道了n维超球体的体积,只要除以n维超立方体的体积V=(2r)n就能求出高维情况下的采样效率,公式这里就不再展开了,直接看结果,如图2-25所示。

可以看到,到了第10维的时候,采样效率已经很接近0了。这又是一个不那么直观的结论,这个结论也让我们明白一开始提到的在超球体内采样的方法是完全不现实的。从另一个角度来理解,这代表随着维度的增加,随机采样的点几乎都不会出现在单位超球体内,也就是说离原点的距离都大于1。我们进一步想一个问题,如果不要求保留单位超球体,而是保留半径为2、为5,或者一个更大数的情况呢?分析的方法也类似,只要看随着维度的增加,n总会超过2πr2,所以对于n>>2πr2的情况,球体内出现采样点的概率总会趋向于0。直观上来理解就是所有的点在高维空间里都会远离圆心,而且随着维度越高,就离得越远,为了更好地理解这个现象,2.3.3节将从另一个更加基础的度量来考察一下。


喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书频道活动讨论群:365934973

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

SQL实用简明教程(第2版)

SQL(结构化查询语言)是数据库系统的通用语言,利用它可以用几乎同样的语句在不同的数据库系统上执行同样的操作,在数据库系统的开发中有着...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊