人工智能目标检测模型（四）——ResNet

ResNet在2015年被提出&＃xff0c;在ImageNet比赛classification任务上获得第一名&＃xff0c;因为它“简单与实用”并存&＃xff0c;之后很多方法都建立在ResNet50或者ResNet101的基础上完成的&＃xff0c;检测&＃xff0c;分割&＃xff0c;识别等领域都纷纷使用ResNet&＃xff0c;Alpha zero也使用了ResNet&＃xff0c;所以可见ResNet确实很好用。
下面我们从实用的角度去看看ResNet。

1.ResNet意义

随着网络的加深&＃xff0c;出现了训练集准确率下降的现象&＃xff0c;我们可以确定这不是由于Overfit过拟合造成的(过拟合的情况训练集应该准确率很高)&＃xff1b;所以作者针对这个问题提出了一种全新的网络&＃xff0c;叫深度残差网络&＃xff0c;它允许网络尽可能的加深&＃xff0c;其中引入了全新的结构如图1&＃xff1b;
这里问大家一个问题
残差指的是什么&＃xff1f;
其中ResNet提出了两种mapping&＃xff1a;一种是identity mapping&＃xff0c;指的就是图1中”弯弯的曲线”&＃xff0c;另一种residual mapping&＃xff0c;指的就是除了”弯弯的曲线“那部分&＃xff0c;所以最后的输出是 y&＃61;F(x)&＃43;xy&＃61;F(x)&＃43;x
identity mapping顾名思义&＃xff0c;就是指本身&＃xff0c;也就是公式中的xx&＃xff0c;而residual mapping指的是“差”&＃xff0c;也就是y−xy−x&＃xff0c;所以残差指的就是F(x)F(x)部分。
为什么ResNet可以解决“随着网络加深&＃xff0c;准确率不下降”的问题&＃xff1f;
除了实验证明外&＃xff1a;

表1&＃xff0c;Resnet在ImageNet上的结果
理论上&＃xff0c;对于“随着网络加深&＃xff0c;准确率下降”的问题&＃xff0c;Resnet提供了两种选择方式&＃xff0c;也就是identity mapping和residual mapping&＃xff0c;如果网络已经到达最优&＃xff0c;继续加深网络&＃xff0c;residual mapping将被push为0&＃xff0c;只剩下identity mapping&＃xff0c;这样理论上网络一直处于最优状态了&＃xff0c;网络的性能也就不会随着深度增加而降低了。

2.ResNet结构

它使用了一种连接方式叫做“shortcut connection”&＃xff0c;顾名思义&＃xff0c;shortcut就是“抄近道”的意思&＃xff0c;看下图我们就能大致理解&＃xff1a;

图1 Shortcut Connection
这是文章里面的图&＃xff0c;我们可以看到一个“弯弯的弧线“这个就是所谓的”shortcut connection“&＃xff0c;也是文中提到identity mapping&＃xff0c;这张图也诠释了ResNet的真谛&＃xff0c;当然大家可以放心&＃xff0c;真正在使用的ResNet模块并不是这么单一&＃xff0c;文章中就提出了两种方式&＃xff1a;

图2 两种ResNet设计
这两种结构分别针对ResNet34&＃xff08;左图&＃xff09;和ResNet50/101/152&＃xff08;右图&＃xff09;&＃xff0c;一般称整个结构为一个”building block“。其中右图又称为”bottleneck design”&＃xff0c;目的一目了然&＃xff0c;就是为了降低参数的数目&＃xff0c;第一个1x1的卷积把256维channel降到64维&＃xff0c;然后在最后通过1x1卷积恢复&＃xff0c;整体上用的参数数目&＃xff1a;1x1x256x64 &＃43; 3x3x64x64 &＃43; 1x1x64x256 &＃61; 69632&＃xff0c;而不使用bottleneck的话就是两个3x3x256的卷积&＃xff0c;参数数目: 3x3x256x256x2 &＃61; 1179648&＃xff0c;差了16.94倍。
对于常规ResNet&＃xff0c;可以用于34层或者更少的网络中&＃xff0c;对于Bottleneck Design的ResNet通常用于更深的如101这样的网络中&＃xff0c;目的是减少计算和参数量&＃xff08;实用目的&＃xff09;。

问大家一个问题&＃xff1a;
如图1所示&＃xff0c;如果F(x)和x的channel个数不同怎么办&＃xff0c;因为F(x)和x是按照channel维度相加的&＃xff0c;channel不同怎么相加呢&＃xff1f;
针对channel个数是否相同&＃xff0c;要分成两种情况考虑&＃xff0c;如下图&＃xff1a;

图3 两种Shortcut Connection方式
如图3所示&＃xff0c;我们可以清楚的”实线“和”虚线“两种连接方式&＃xff0c;
实线的的Connection部分(”第一个粉色矩形和第三个粉色矩形“)都是执行3x3x64的卷积&＃xff0c;他们的channel个数一致&＃xff0c;所以采用计算方式&＃xff1a;
y&＃61;F(x)&＃43;xy&＃61;F(x)&＃43;x
虚线的的Connection部分(”第一个绿色矩形和第三个绿色矩形“)分别是3x3x64和3x3x128的卷积操作&＃xff0c;他们的channel个数不同(64和128)&＃xff0c;所以采用计算方式&＃xff1a;
y&＃61;F(x)&＃43;Wxy&＃61;F(x)&＃43;Wx
其中W是卷积操作&＃xff0c;用来调整x的channel维度的&＃xff1b;
下面我们看看两个实例&＃xff1a;

图4 两种Shortcut Connection方式实例&＃xff08;左图channel一致&＃xff0c;右图channel不一样&＃xff09;

3.ResNet50和ResNet101

这里把ResNet50和ResNet101特别提出&＃xff0c;主要因为它们的出镜率很高&＃xff0c;所以需要做特别的说明。给出了它们具体的结构&＃xff1a;

表2&＃xff0c;Resnet不同的结构
首先我们看一下表2&＃xff0c;上面一共提出了5中深度的ResNet&＃xff0c;分别是18&＃xff0c;34&＃xff0c;50&＃xff0c;101和152&＃xff0c;首先看表2最左侧&＃xff0c;我们发现所有的网络都分成5部分&＃xff0c;分别是&＃xff1a;conv1&＃xff0c;conv2_x&＃xff0c;conv3_x&＃xff0c;conv4_x&＃xff0c;conv5_x&＃xff0c;之后的其他论文也会专门用这个称呼指代ResNet50或者101的每部分。
拿101-layer那列&＃xff0c;我们先看看101-layer是不是真的是101层网络&＃xff0c;首先有个输入7x7x64的卷积&＃xff0c;然后经过3 &＃43; 4 &＃43; 23 &＃43; 3 &＃61; 33个building block&＃xff0c;每个block为3层&＃xff0c;所以有33 x 3 &＃61; 99层&＃xff0c;最后有个fc层(用于分类)&＃xff0c;所以1 &＃43; 99 &＃43; 1 &＃61; 101层&＃xff0c;确实有101层网络&＃xff1b;
注&＃xff1a;101层网络仅仅指卷积或者全连接层&＃xff0c;而激活层或者Pooling层并没有计算在内&＃xff1b;
这里我们关注50-layer和101-layer这两列&＃xff0c;可以发现&＃xff0c;它们唯一的不同在于conv4_x&＃xff0c;ResNet50有6个block&＃xff0c;而ResNet101有23个block&＃xff0c;查了17个block&＃xff0c;也就是17 x 3 &＃61; 51层。

4.基于ResNet101的Faster RCNN

文章中把ResNet101应用在Faster RCNN上取得了更好的结果&＃xff0c;结果如下&＃xff1a;


表3&＃xff0c;Resnet101 Faster RCNN在Pascal VOC07/12 以及COCO上的结果
这里有个问题&＃xff1a;
Faster RCNN中RPN和Fast RCNN的共享特征图用的是conv5_x的输出么&＃xff1f;
针对这个问题我们看看实际的基于ResNet101的Faster RCNN的结构图&＃xff1a;

图5 基于ResNet101的Faster RCNN
图5展示了整个Faster RCNN的架构&＃xff0c;其中蓝色的部分为ResNet101&＃xff0c;可以发现conv4_x的最后的输出为RPN和RoI Pooling共享的部分&＃xff0c;而conv5_x(共9层网络)都作用于RoI Pooling之后的一堆特征图(14 x 14 x 1024)&＃xff0c;特征图的大小维度也刚好符合原本的ResNet101中conv5_x的输入&＃xff1b;
最后大家一定要记得最后要接一个average pooling&＃xff0c;得到2048维特征&＃xff0c;分别用于分类和框回归。