所有文章 > 正文

“深”为什么好?Facebook最新研究剑指神经网络的实际表达能力

作者: 江抱石

浏览量: 597

时间: 2019-06-14 02:40

关键词: Facebook,神经网络,表达能力

神经网络有强大的函数拟合(表达)能力,且层数越深、神经元越多,表达能力越强。各类底层应用如CV\NLP等任务显示,深层网络效果通常优于浅层网络,即“深就是好”。理论上,深层网络有更强的表达能力,这常常被认为是“深就是好”的原因之一。

但就实际体现出来的表达能力而言,深层网络较浅层网络究竟强多少呢?Texas A&M University和Facebook AI的研究人员(Hanin & Rolnick,2019)在ICML2019上联合发文,分析了实际应用到的以Relu为激活函数的神经网络模型,得出相应模型的实际表达能力随深度线性增长的结论。

Relu神经网络的表达能力

Relu激活函数是一个分段线性函数。一个Relu激活函数将输入空间分为两块,每一块内部均是线性函数,如下图。

一个Relu神经网络是一个以Relu为激活函数的神经网络,它将输入空间分成多块,每一块内部仍是线性函数,如下图将各个分块称为线性区域(linear region)。


直觉上讲,一个网络,如果能将输入空间划分得更多、更密,它就能拟合更复杂的函数或概率分布。因此,某个神经网络的固定输入空间的线性区域的数目,也就从一个侧面反映了该网络所表达函数的复杂程度;输入空间所能得到的最大划分数目,也就反映了某类架构的神经网络的表达能力极限。

一方面,对于某些特意构造的多项式函数,浅层网络需要指数增长的神经元个数,其拟合效果才能匹配上多项式增长的深层网络(Delalleau and Bengio, 2011)。另一方面,线性个数(O(n))神经元的神经网络,确实能利用合适的架构(深度和宽度)将输入空间分割为指数个数(2^n)个线性区域,如下图左侧(Telgarsky ,2015)。

然而,这些构造是如此精巧,以致一个轻微的扰动,就会破坏对应的指数关系(如上图右侧)。

我们不禁要问,对于现实中使用的神经网络,而不是理论上的上界和精巧构造下,输入空间被划分出的线性空间数目,和神经网络的架构的关系究竟如何。

真实神经网络的线性区域数目

输入空间I被划分出的线性区域数目#{ regions in I},是一个关于神经网络(架构、参数值等)的函数,有指数上界O(2^n),且上界可达到;有平凡下界1,其非平凡下界难以分析。如果把神经网络的架构、参数等视为随机变量,则输入空间被划分出的线性区域数目也是一个随机变量。记神经网络使用的激活函数是一个T +1段线性函数(Relu时,T = 1),神经网络有 #{neurons} 个神经元。该文章证明,当输入输出维度均为1时,初始化时,如所有神经网络权重有界,则

其中| I| 是输入空间的长度。从而平均意义上,线性区域数目是随神经元个数线性增长的,无论网络深度如何。

进一步,本文推广该结果到n维空间。多维空间的线性区域个数的密度需仔细定义。本文采取投影方法,即对某n维空间的区域K而言,记其体积为

且该区域和输入空间的划分簇相交的部分——即神经网络N不可导的那部分,因为只有在线性区域边界上不可导——在所投射得到的n-1维空间的体积为

其中

本文证明,这部分所占比重随神经元数目线性增长,即:

其中T仍是线性激活函数的段数减去1。更进一步,如果输入数据x在输入空间时均匀分布的话,有

其中

是x到线性区域边界的最短距离。

注意,本文不仅证明如上关系在初始化时成立,且在训练过程中的每一步,即引入优化方法\数据随机性后,上述关系仍然成立。这一结论,强烈反驳了一类认识,即深层网络表现更好,是因为可以学习出指数增长的线性区域数目。

实验验证

文章首先在一维输入空间上验证理论结果,如下图。可见,神经元数目和线性区域数目之比基本是一个常量(纵轴),而无论网络结构如何变化。

在多维空间时,文章利用MNIST数据,得到验证结果如下图:即所有网络,在训练的任何过程中,都有其神经元个数和最短距离之积的期望为近似常数。

文章进一步将实际多个输入数据的最短距离做分布图,如下。可见,在训练过程中,该分布并明显变化。

最后,文章做出示例图如下,显示一个三层、每层64个神经元的神经网络,在MNIST上训练过程中,线性区域数目维持在10的三次方这一量级。

结语

为什么深就是好?这个问题令人着迷。过往认为,深层网络表达能力强,有指数增长的极限能力上界,本文却说明,深层网络相比浅层网络在实际应用中的体现出来的表达能力,以输入空间的线性区域数目来看,平均意义上只随神经元数目线性增长,而和网络深度无关。这一理论结果有待在更复杂的任务上进行实际验证。另外,本文只是关心了一阶统计量,即期望;也许二阶统计量中藏有更有趣的秘密。

最后,有研究指出,深层网络被训练好以后,常常可以找到适当的浅层网络去替代它(Ba & Caruana, 2014)。这无疑是本文结果的一个旁证,也暗示了,深就是好的原因,也许藏在更容易优化上。这些都有待进一步研究。

本文:Boris Hanin, David Rolnick. Complexity of Linear Regions in Deep Networks. In ICML, 2019.

参考文献:

O. Delalleau and Y. Bengio. Shallow vs. deep sum-product networks. In NIPS, 2011.

Telgarsky, M. Representation benefits of deep feedforward networks. Preprint arXiv:1509.08101, 2015.

Ba, J. and Caruana, R. Do deep nets really need to be deep? In NeurIPS, pp. 2654–2662, 2014.

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

扫码微信阅读
[关于转载]:本文转载于 江抱石,仅用于学术分享,有任何问题请与我们联系:report@aminer.cn。