|
|
51CTO旗下网站
|
|
移动端

2.3.7 函数对实际维度的影响

《深度学习与计算机视觉:算法原理、框架应用与代码实现》第2章 深度学习和计算机视觉中的基础数学知识,本章会尽量从定性的角度讲解一些与深度学习、计算视觉紧密联系的基础数学概念,不一定会很严谨细致,但力求简单、形象。本节为大家介绍函数对实际维度的影响。

作者:叶韵来源:机械工业出版社|2017-11-16 18:05

2.3.7  函数对实际维度的影响

2.3.6节讲过虽然数据本身维度可能很高,不过大多数实际情况下,数据是分布在一个低维度的子空间内。当数据和函数一起作用时,也有类似的情况。比如一个简单的情况,考虑在一个足够小的局部空间内,函数可以被线性近似,则有如下表达式:

在这样一个可以被线性表达式近似的局部空间内,线性系数绝对值的大小就决定了每个维度对结果贡献的多少。通常来说这些系数是不相等的,事实上很常见的情况是这些系数里只有很少的部分有较大的绝对值,其他大部分都会相比起来非常小甚至可以忽略不计。

当然这里举的例子是线性近似的情况,是一个帮助理解的最简单的例子。对于大多数图像相关的问题,类似的性质是普遍存在的,通常来说最常见情况是,对于一个输入x,有:

x'是经过变换得到的变量,如果x'本身维度就很低,或者可以在某些情况下被近似成一个低维度的向量x's,则通常经过一个逆变换或是近似逆变换的函数得到的值是可以近似原始的输入的。

只要f?-1(x's)对x的近似足够好,则真正处理问题的时候就不用面对原始的、可能维度很高的x,而是x's,也就说在函数作用下的x's的维度才是要面临的实际维度。

在有些变换下,x'本身维度就不高,直接达到了降低维度的效果。而有的情况则需要做一定的近似得到一个等效的低维向量x's,比如下面的例子:

和之前线性近似中系数的性质类似,少数维度很大的值,其他维度的值小到可以忽略。于是就忽略掉那些很小的维度,得到下面的只有少量维度不为0的近似。

这样等效于实际处理的维度降低了,在这种形式中,大多数值都是0,少数起实际作用的非0值很稀疏地分布在一些维度中,所以这种形式就称为是一种稀疏的表达。


喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书频道活动讨论群:365934973

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

精通SOA:基于服务总线的Struts+EJB+Web Service

Java的出现,实现了跨操作系统平台的程序开发,以Java为基础的J2EE技术已经成为因特网服务技术的主流。然而,以J2EE为基础的SOA架构技术必...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊