|
|
|
|
移动端

2.1.4 矩阵乘法的几何意义(1)

《深度学习与计算机视觉:算法原理、框架应用与代码实现》第2章 深度学习和计算机视觉中的基础数学知识,本章会尽量从定性的角度讲解一些与深度学习、计算视觉紧密联系的基础数学概念,不一定会很严谨细致,但力求简单、形象。本节为大家介绍矩阵乘法的几何意义。

作者:叶韵来源:机械工业出版社|2017-11-16 17:29

有奖调研 | 1TB硬盘等你拿 AI+区块链的发展趋势及应用调研


2.1.4  矩阵乘法的几何意义(1)

1.投影角度的理解

了解了点积的几何意义,再回过头来看看矩阵乘以向量的几何意义。从公式2-3以及公式2-7点积的定义可以知道,矩阵乘以一个向量的计算,事实上就是矩阵每一行的行向量和待乘向量的点积所形成的新向量,所以有

其中ai,*代表第i行的行向量(a1,1, a1,2, …, a1,n),x为(x1, x2, …, xn)T。根据2.1.3节点积的几何意义,这个运算可以看作是x在ai上的投影长度,乘以ai本身的长度。如果我们把ai看作是一个坐标轴的单位向量,那么矩阵乘法运算后的向量的每一维值对应的就是x在这个坐标轴上的投影长度。也就是说,这个变换计算的是向量x在以ai作为每个坐标轴单位向量的新坐标系下的坐标,这就是从投影角度来看待矩阵乘法的几何意义。

现在回到2.1.2节中的旋转和缩放的小例子,旋转矩阵如下:

所以变换后的坐标轴的单位向量是如图2-4左图所示,所以在标准坐标系中的(0,1),也就是横轴上的向量,在以x'和y'为坐标轴的坐标系中的就不再是(0,1),而是如图2-4右图所示的一个落在第一象限的向量的坐标。在新坐标系中每个轴的值如前所述,就是向量在每个轴上的投影长度乘以每个轴向量的长度。

2.坐标映射角度的理解

从投影角度理解矩阵乘法虽然最能体现投影的意义,但却不是最直观的。第一是因为人脑中最形象的空间的参照系都是正交的,简单来说无论二维还是三维(或是脑补的高维图像),坐标系的轴都是互相垂直。从本节讲的内容来理解,就是任何一根轴上的向量在其他轴上的投影都是0。所以如果变换矩阵的行向量互相正交,那么还可以像图2-4中一样,形象地理解为旋转,但是如果变换矩阵的行向量不是正交的,甚至哪怕行向量的长度不是1的情况下,就很难形象地想象了,例如下面的矩阵乘法:

画出(1,1)和行向量,和变换后的向量(1,5)的位置,如图2-5a所示。

在图2-5a中,(1,1)在两个行向量上的投影长度仍然可以形象地理解,但是由于(2,-1)和(1,4)并不互相垂直,所以还是难以形象地理解矩阵乘法的变换。

从投影角度形象理解矩阵乘法的第二个困难是参考坐标系的变换,对于人们来说最直观的坐标系就是标准的笛卡尔坐标系,以二维为例子就是(1,0)所在为横轴,(0,1)所在为纵轴的这种坐标系。在执行矩阵乘法的线性变换时,无论是变换前的向量,还是变换后的向量,都是以笛卡尔坐标系为参考的。所以换个角度,自始至终都在笛卡尔坐标系下,首先来考虑下面的问题:横轴和纵轴的单位向量在矩阵乘法之后对应的向量分别是什么?还是以图2-5中的矩阵乘法为例子,过程如下,对于横轴单位向量(1,0),有

对于纵轴单位向量(0,1),有

结论一目了然,对于横轴,也就是第一个维度的单位向量,变换后对应的就是变换矩阵的第一列的列向量(2,1),对于纵轴,也就是第二个维度的单位向量,变换后对应的就是变换矩阵的第二列的列向量(-1,4)。这个结论可以很容易地推广到高维情况,对于第i维度的单位向量,变换后对应的就是变换矩阵中的第i列的列向量。

可以把这种变换形象地理解成一种坐标的映射,具体到图2-5a的例子,就是图2-5b中的情况,经过变换后原来的(1,0)对应的新坐标是(2,1),(0,1)对应的新坐标是(-1,4)。在这种对应关系下,考虑由(0,0),(1,0),(1,1)和(0,1)围起来的单位长度的小方框,经过变换后相当于被“拉伸”成为由(0,0),(2,1),(1,5)和(-1,4)围起来的四边形,所以在单位方框中右上角的顶点,在变换后就是被拉伸后四边形的对应顶点(1,5)。

再回过头来看看最开始讲的高中教科书里逆时针旋转π/3的例子,如图2-6所示。

比起投影的角度更加直观了,横轴单位向量变换后对应的坐标正是逆时针旋转π/3。在这种理解下,对于任何矩阵乘法的变换,都可以很形象地理解为对变换前的区域进行旋转和沿特定方向缩放结合一起的操作,让原来区域经过形变后映射到了一个新的区域里。比如图2-7中,实现了对一个区域的切变和沿x轴翻转。

如果希望变换后的坐标有位移,只需要在变换后的结果上加一个位移向量就可以,如图2-8所示。

如果把图2-8中的问题想象成一个回归问题,只通过矩阵乘法的话是无法把图2-8a中的笑脸变换为图2-8b中实线的笑脸,而添加了位移向量之后,则能够轻松拟合。这个位移向量偏置在机器学习中是一种常见的参数,通常被称为偏置(bias),而形如y=Ax+b的变换形式也是机器学习中最常见的变换,称做仿射变换。简单来说,仿射变换就是一个线性变换接着一个位移。

从拟合的角度看,偏置对结果的影响主要和样本的分布相关,一般来说当样本方差大、维度高的时候,则偏置的影响就会小一些。偏置的引入让变换的灵活度更大,但却不再是线性变换,并且形式上变得比y=Ax更复杂,一个常用的办法可以把y=Ax+b化为y=Ax的形式,推导如图2-9所示。

如推导的第2行所示,加上位移向量的时候,可以看作位移向量是1前面的系数,这样就如图2-9中灰色方框标识的,通过把位移向量加到矩阵的最后一列,同时在待变换向量后添加一个值为1的维度,把位移向量/偏置直接包含在矩阵乘法之中。

从形式上看,这样只是个公式上的小把戏,从维度的角度来看,通过增加维度,变换可以更加灵活。


喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书频道活动讨论群:365934973

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

信息安全风险评估

信息安全风险评估理论研究日趋成熟,相关资料比较充分,但有关评估实际工作的参考资料很少。本书以信息安全风险评估实践为基础,围绕评估工...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊