Resnet学习和理解

一直以来&＃xff0c;经常在各种复杂的结构中使用或者听说过Resnet的名字&＃xff0c;但是一直也没有学习过这篇文章&＃xff0c;现在趁着有时间&＃xff0c;学习一下Resnet——何凯明等人于2015年年底发表的《Deep Residual Learning for Image Recognition》。

一、Resnet的背景

深度神经网络&＃xff08;DCNN&＃xff09;结构是很难训练的&＃xff0c;这里我们提出一种叫做“residual learning”的框架&＃xff0c;使得神经网络可以更deep&＃xff0c;更好训练。

我们显式地将层&＃xff08;layer&＃xff09;重新组织&＃xff08;reformulate&＃xff09;为学习残差函数&＃xff0c;而不是学习未引用的函数&＃xff08;unreferenced functions&＃xff09;。

通过提供全面的经验证据&＃xff08;Comprehensive empirical evidence&＃xff09;&＃xff0c;表明此方法是容易优化且准确性随着深度的增加而增加&＃xff08;showing that these residual networks are easier to optimize, and can gain accuracy from considerably increased depth&＃xff09;。

在ImageNet比赛中&＃xff0c;我们采用了比VGG大8倍的网络结构&＃xff08;152层&＃xff09;&＃xff0c;但是复杂度还是低于VGG的&＃xff0c;测试集的错误率达到3.57%&＃xff0c;赢得了ILSVRC 2015分类任务的第一名。

对于很多的visual recognition任务&＃xff0c;the depth of representation&＃xff08;或者说网络的深度&＃xff09;是最重要的&＃xff08;增加描述能力&＃xff09;。

二、Resnet的解决的问题

根据之前的研究成果&＃xff08; K. Simonyan and A. Zisserman. Very deep convolutional networks for large-scale image recognition. In ICLR, 2015. &＃xff0c;C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich.Going deeper with convolutions. In CVPR, 2015.&＃xff09;&＃xff0c;学术界普遍认为CNN结构的层数越多&＃xff0c;表述能力越强&＃xff08;对特征的描述能力也就越强&＃xff09;&＃xff0c;效果也就越好。

但是实际上&＃xff0c;由于层数的增加&＃xff0c;常规的网络&＃xff08;plain network&＃xff09;在网络很深的时候&＃xff0c;效果反而不如之前的浅层网络了&＃xff08;shallower network&＃xff09;。这种现象称之为退化现象&＃xff08;degradation problem&＃xff09; &＃xff0c;跟预想相反的是&＃xff0c;这种退化行为&＃xff08;上图1中层数深的网络比层数低的网络train loss和test loss都要大。&＃xff09;不是由于overfitting造成的。这表明不是所有的系统&＃xff08;神经网络结构&＃xff09;都是容易收敛和优化的。&＃xff1b;除此之外&＃xff0c;由于层数很深&＃xff0c;也不可避免的出现梯度消失/爆炸的问题&＃xff08;vanishing/exploding gradient&＃xff09;。

因此&＃xff0c;Resnet解决的问题就是提出一种新型的方法&＃xff0c;来解决随着网络层数加深而导致的退化问题(degradation problem)和相应的梯度消失问题。

三、Resnet的解决思路

提到Resnet&＃xff0c;就离不开两方面的内容&＃xff1a;① Residual Representation ② Shortcut Connections。下面我们结合实际的过程引入这两块内容&＃xff0c;避免直接叙述带来的困扰和不解。

① Residual Representation

上面是Plain Net和Residual Net的结构&＃xff0c;这里我们将H(x)H(x)视为一部分堆叠的网络的输出结果&＃xff0c;xx为这一小部分结构的输入。我们希望通过2层权重能够拟合残差函数F(x)=H(x)&＃x2212;x" role="presentation" >F(x)=H(x)−x$F(x)=H(x)-x$&＃xff08;这里假设H(x)H(x)和xx的维度一致）——用论文的原话说是：“如果假设多重非线性层可以渐近地逼近复杂的函数，那么就相当于假设它们可以渐近地近似残差函数（residual function）”

引用参考资料2里面的一段分析：

如果深层网络的后面那些层是恒等映射（identity mapping），那么模型就退化为一个浅层网络。那现在要解决的就是学习恒等映射函数了。 但是直接让一些层去拟合一个潜在的恒等映射函数H(x) = x，比较困难，这可能就是深层网络难以训练的原因。

但是，如果把网络设计为H(x) = F(x) + x,如下图。我们可以转换为学习一个残差函数F(x) = H(x) - x. 只要F(x)=0，就构成了一个恒等映射H(x) = x. 而且，拟合残差肯定更加容易。

映射H" role="presentation" >H$H$的计算复杂&＃xff0c;而FF的计算相对简单，所以加深网络层数是可行的。这里：F" role="presentation" >F$F$是求和前网络映射&＃xff0c;HH是从输入到求和后的网络映射。

下面引用自知乎

比如把5映射到5.1，那么引入残差前是F’(5)=5.1，引入残差后是H(5)=5.1, H(5)=F(5)+5, F(5)=0.1。这里的F’和F都表示网络参数映射，引入残差后的映射对输出的变化更敏感。比如s输出从5.1变到5.2，映射F’的输出增加了1/51=2%，而对于残差结构输出从5.1到5.2，映射F是从0.1到0.2，增加了100%。明显后者输出变化对权重的调整作用更大，所以效果更好。残差的思想都是去掉相同的主体部分，从而突出微小的变化，看到残差网络我第一反应就是差分放大器。

② Shortcut Connections

如上图结构，我们对每几层的堆叠结构（stacked layers）都采用残差学习，其构造过程就是一个building block的过程：

值得注意的是&＃xff0c;这里的shortcut connection机制既没有增加额外的参数&＃xff0c;也没有使得计算复杂度增加。这一点是非常重要的&＃xff0c;因为我们可以同时比较plain net和residual net&＃xff08;拥有同样的参数个数、网络深度和计算代价&＃xff09;。

这里又涉及到一个难点&＃xff1a;如何保证输入输出的维度相同&＃xff1f;

• 1&＃xff09;快捷连接&＃xff08;shortcut connection&＃xff09;仍然使用自身映射&＃xff08;identity mapping&＃xff09;&＃xff0c;对于维度的增加用零来填补空缺&＃xff08;padding&＃xff09;&＃xff0c;此策略不会引入额外的参数。

• 2&＃xff09;可以在shortcut connection时对x做一个线性变换方阵WsWs,相当于加入了1x1卷积层&＃xff0c;即

  y&＃61;F(x,Wi)&＃43;Wsxy&＃61;F(x,Wi)&＃43;Wsx

但通过实验证明&＃xff0c;恒等映射对于解决退化问题已经足够了&＃xff0c;因此只有在匹配维度时才需要使用WsWs。

残差函数FF的形式是灵活的。本文的实验涉及到的函数F" role="presentation" >F$F$&＃xff0c;它有两个或三个层&＃xff0c;当然更多的层也是可以的。但是&＃xff0c;如果FF只有一个层，那么y=F(x,Wi)+x" role="presentation" >y=F(x,Wi)+x$\mathbf{y}=F(\mathbf{x},W_i)+\mathbf{x}$就变成了y&＃61;W1x&＃43;xy&＃61;W1x&＃43;x&＃xff0c;就失去了非线性的表述能力了&＃xff0c;我们认为这是不可取的。

• • 1&＃xff09;快捷连接&＃xff08;shortcut connection&＃xff09;仍然使用自身映射&＃xff08;identity mapping&＃xff09;&＃xff0c;对于维度的增加用零来填补空缺&＃xff08;padding&＃xff09;&＃xff0c;此策略不会引入额外的参数。

  • 2&＃xff09;可以在shortcut connection时对xx做一个线性变换方阵Ws" role="presentation" >Ws$W_s$,相当于加入了1x1卷积层&＃xff0c;即

    y&＃61;F(x,Wi)&＃43;Wsxy&＃61;F(x,Wi)&＃43;Wsx