|
|
|
|
移动端

2.1.8 线性可分性和维度

《深度学习与计算机视觉:算法原理、框架应用与代码实现》第2章 深度学习和计算机视觉中的基础数学知识,本章会尽量从定性的角度讲解一些与深度学习、计算视觉紧密联系的基础数学概念,不一定会很严谨细致,但力求简单、形象。本节为大家介绍线性可分性和维度。

作者:叶韵来源:机械工业出版社|2017-11-16 17:40

2.1.8  线性可分性和维度

线性可分的定义是指,对于两类不同的n维点的集合X0和X1,如果存在一个n维向量w∈Rn和一个标量b使得:

则称X0和X1是线性可分的。从几何上理解,一个n维的线性组合wx+b代表的是n维空间中的一个超平面,也就是说能被一个超平面分开的两类集合,就是线性可分的。具体来看看从一维到三维的例子,如图2-14所示。

图2-14a中在一维直线上,将两类点分开的超平面就是一个点。图2-14b中,分开两类点的超平面是一条直线。图2-14c中则是一个平面分开了两个不同类别的点。对于这种二分类问题,在n维空间中,wx+b=0则是描述判别这两类不同模式的超平面。至于线性不可分,如图2-15a所示的是一个经典的表达异或(XOR)函数的线性不可分例子。

在图2-15b中,一种类别的点集“包围”着另一种类别的点集。对于这种情况,无论怎么画直线,都不可能将两类点分开。

那么线性可分和前面讲的线性变换有什么联系呢?通过前面的内容,我们对矩阵所对应线性变换有了比较形象的定性理解。总结一下就是矩阵会对空间进行旋转,沿指定方向缩放的操作。线性变换再结合平移向量一起,这类变换被称为仿射变换。在同维度下,仿射变换下有些特性可能会发生变化,如长度、面积、角度和距离等,有些量则保持不变,如直线的平行性质,还有线性可分的性质。形象来理解,如果对变换前的空间标上格子,那么变换后格子的相对位置是不会发生变化的,所以以二维为例,如果变换前可以被直线二分类的空间,变换后对应的空间和分界线都是一样的,如图2-16所示。

也就是说同维度的仿射变换不改变线性可分或不可分的性质。那如果变换一下维度呢?结论对于线性不可分还是一样,只要是线性/仿射变换,线性不可分的变换后还是线性不可分,而对于线性可分的例子,则有可能会变得线性不可分。我们还是用图2-14中的例子,先考虑变换到低的维度,如图2-17所示。

在图2-17中,分别把样本位置和x轴的单位向量(1,0),y轴的单位向量(0,1),和A点方向的单位向量(1/2, -/2)做矩阵乘法,也就是点积,相当于求出了样本在这些向量上的投影。可以看到,在y轴和A向量的投影仍然是线性可分的,但是在x轴上的投影上,样本则混在了一起,无法用一个点分开。下面再来看看把二维的样本通过矩阵乘法投影到高维,只需要用一个三行两列的矩阵,如图2-18所示。

可以看到,经过投影到高维的矩阵乘法,二维平面在三维空间里还是分布在一个平面上,所以线性可分性还是维持。

虽然我们只看了一维到三维的情况,不过不同维度之间的线性变换的规律是类似的,高维变换到低维可能会让本来线性可分的样本变得不可分,而低维变换到高维则不会破坏线性可分性。

总体而言,在高维空间中的样本更容易被线性分开,直观想象一下,一群挤在一条线上的样本和一群同样数量分布在三维空间中的样本,哪个感觉更容易被线性分开?当然是后者了。


喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书频道活动讨论群:365934973

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

网管员必读——网络组建

本书以一个模拟局域网组建为思路,介绍了与局域网组建各主要方面相关的知识及组建、配置方法。本书所介绍的内容主要包括:局域网组建规划、...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊