ResNet的bottleneck设计

右图是 bottleneck

右图是 shortcut connection

“弯弯的弧线“这个就是”shortcut connection“，也是论文中提到identity mapping

两种结构统称building block

这两种结构分别针对ResNet34（左图）和ResNet50/101/152（右图），一般称整个结构为一个”building block“。

bottleneck design 降低参数量

其中右图又称为”bottleneck design”，目的一目了然，就是为了降低参数的数目，第一个1x1的卷积把256维channel降到64维，然后在最后通过1x1卷积恢复，整体上用的参数数目：1x1x256x64 + 3x3x64x64 + 1x1x64x256 = 69632，而不使用bottleneck的话就是两个3x3x256的卷积，参数数目: 3x3x256x256x2 = 1179648，差了16.94倍。

对于常规ResNet，可以用于34层或者更少的网络中，对于Bottleneck Design的ResNet通常用于更深的如101这样的网络中，目的是减少计算和参数量，减少训练时间（实用目的）。

bottleneck结构单元

一个是bottleneck中第二个1*1卷积的通道为什么是256维度；

• 可理解为参数设置将最后一个卷积的通道设置为当前输入通道的4倍；

一个是左右两侧为相同的输入，为什么图右变为256维度的恒等映射；

• 要想实现加运算，必须令输入通道数和11卷积核的输出通道数相同，所以需要对原始64通道的输入利用11卷积增加通道至256维。

参考：
https://blog.csdn.net/u011304078/article/details/80683985