ILSVRC15夺冠神器，ResNet论文阅读

论文地址&＃xff1a;https://arxiv.org/pdf/1512.03385.pdf
作为ILSVRC15年的冠军&＃xff0c;Kaiming大神一贯落实着不发则已&＃xff0c;一发惊人的论文生产准则。最近静下心来仔细研究一下这篇论文&＃xff0c;个人认为Kaiming是一个很看重问题本质的学者&＃xff0c;他发的论文都会从问题的最本质的原因入手&＃xff0c;比如Focal loss的提出、Faster RCNN的加速点、Mask RCNN的突破性创新等等。
ResNet也不例外&＃xff0c;今天静下心来好好读一下这篇文章&＃xff0c;想一想究竟为什么ResNet会起作用。
从LeNet开始&＃xff0c;深度学习网络就朝着不断加深&＃xff0c;越来越复杂的方向前进&＃xff0c;从AlexNet&＃xff0c;到VGGNet&＃xff0c;到GoogLeNet&＃xff08;Inception&＃xff09;。但是随着网络越来越深&＃xff0c;大家发现一个问题&＃xff0c;当达到了一定深度之后&＃xff0c;模型开始出现训练困难&＃xff0c;甚至不升反降的现象。
关于训练困难的问题&＃xff0c;一定程度上可以通过归一化来解决&＃xff0c;比如BN。这种方式通过消除层于层之间的偏移&＃xff0c;也就是各层的输出不均衡问题来加速训练和收敛。但是仍然解决不了训练退化&＃xff0c;也就是随着网络加深&＃xff0c;训练效果不升反降的问题。
而这篇文章通过引入“残差模块”&＃xff0c;来有效的解决了训练退化的问题。残差模块&＃xff0c;简单来说&＃xff0c;就是将希望预测的值H(x)&＃xff0c;转变为输入x加一个残差函数F(x)&＃xff0c;即H(x)&＃61;F(x)&＃43;x。比如我现在想要预测一辆车的长度&＃xff0c;这辆车的长度是4.8m&＃xff0c;网络某一层的输入是4.5m&＃xff0c;传统的做法是&＃xff0c;经过一系列的卷积、非线性变换之后&＃xff0c;得到一个输出&＃xff0c;这个输出就是4.8m。那么残差模块希望的是通过同样的网络结构&＃xff0c;得到一个&＃xff08;4.8-4.5&＃xff09;&＃61;0.3m的输出&＃xff0c;这个输出是输入与真实值之间的“残差”&＃xff0c;或者理解为bias、offset我觉得都是没有问题的。但是可能读到这里&＃xff0c;会有疑问&＃xff0c;同样是卷积操作&＃43;非线性变换&＃xff0c;为什么输出残差就要比输出最终的值要好呢&＃xff1f;&＃xff08;这也是一个非常核心和关键的问题所在&＃xff09;
先说一下这个公式H(x)&＃61;F(x)&＃43;x&＃xff0c;F(x)的输出&＃xff0c;与x输入之间&＃xff0c;是要大于等于两层的&＃xff0c;否则文章指出就相当于是给x加了一个线性层&＃xff0c;相当于是H(x)&＃61;Wx&＃43;x。不论隔了几层&＃xff0c;因为并没有引入新的参数&＃xff0c;因此也就不存在新的计算消耗。因为要加在一起&＃xff0c;所以F(x)和x应该是同样维度的&＃xff0c;也就是要求 channel数相同&＃xff0c;如果不相同&＃xff0c;给x做一个卷积操作H(x)&＃61;F(x)&＃43;Wx&＃xff0c;将x维度变换到与F(x)相同即可。如果相同&＃xff0c;直接相加就可以了。
文章的实验给出了18层和34层的卷积网络&＃xff0c;分别不加和加了残差模块的结果。结果证明加入残差模块后&＃xff0c;退化问题得到了解决&＃xff0c;并且横向对比也可以看出残差模块可以显著加速收敛。

文章给出的Plain结构最深的就是34层&＃xff0c;那么如何加深网络结构呢&＃xff0c;文章使用了“bottleneck”结构&＃xff0c;也就是下图的结构&＃xff0c;将Plain中的两层&＃xff0c;替换为一个三层网络&＃xff0c;先降维再升维。34层的结构中&＃xff0c;除去第一层卷积和最后一层全连接&＃xff0c;每两层都有残差结构&＃xff0c;替换为三层的残差结构&＃xff0c;得到一个2&＃43;(32/2)*3&＃61;50层的网络。

在50层的基础上&＃xff0c;在网络的后面再增加三层的Bottleneck残差结构&＃xff0c;分别可以得到101层&＃xff08;增加27个三层Bottleneck&＃xff09;和152层&＃xff08;增加54个三层Bottleneck&＃xff09;。这些深层的网络都没有出现训练退化的现象&＃xff0c;随着网络加深&＃xff0c;训练效果都在提升。

所以其实文章看到最后&＃xff0c;都没有明确指出为什么残差结构能够解决退化的问题&＃xff0c;大部分是给出的猜测。这里参考了https://www.jianshu.com/p/ca6bee9eb888的回答&＃xff1a;
1、首先就是反向传播的过程中&＃xff0c;残差模块对于数据的波动更加敏感。对于公式H(x)&＃61;F(x)&＃43;x&＃xff0c;还是以车辆长度为例&＃xff0c;假设车辆真实长度为4.6m&＃xff0c;输入x为4m&＃xff0c;而使用Plain结构的网络输出为4.3m&＃xff0c;两个数相差不过(4.6-4.3)/4.6&＃61;7%左右。但是采用了残差结构&＃xff0c;期望的输出应该是4.6-4&＃61;0.6m&＃xff0c;而网络的输出就是4.3-4&＃61;0.3m&＃xff0c;两个数差了100%。在计算梯度的时候&＃xff0c;这完全是两个概念&＃xff0c;所以说残差模块对于微小的波动更加敏感。
2、再就是论文里&＃xff0c;和这篇文章提到的&＃xff0c;残差模块去求解本征映射的优化难度要低很多。个人理解是&＃xff0c;忽略掉数据之间的相同点&＃xff0c;重点关注数据之间的不同点&＃xff0c;可以有效降低数据冗余。