动手学深度学习V2.0(Pytorch)——29.2ResNet为什么能训练出1000层的模型

https://www.bilibili.com/video/BV1554y157E3

这部分没有PPT&＃xff0c;所以简单做一些记录和自己绘图

1.1 Resnet是如何处理梯度消失&＃xff0c;使得其可以训练1000层的模型

之前说到避免梯度消失的方式有几种&＃xff0c;

• 有一种避免梯度消失的办法是 乘法变加法&＃xff0c;ResNet就是这么做的&＃xff0c;特别是Residual Connection

接下来主要讨论 Residual是如何处理梯度消失的&＃xff1a;

如上图所示&＃xff0c;

• 假设已经有一个网络&＃xff0c;用$y\&＃61;f(x)$表示&＃xff0c;$x$是输入&＃xff0c;$y$是输出。$f$就是函数映射&＃xff0c;比如是10个卷积层之类的。
• 那么如果这个$f$中比如有个参数$w$&＃xff08;可能不止一个值&＃xff0c;是一个Tensor&＃xff09;&＃xff0c; 则损失函数对$w$求导就可以表示为&＃xff1a;∂y∂w\frac{\partial y}{\partial w}∂w∂y​
  • 这里暂时不考虑那么详细的损失函数了&＃xff0c;反正损失函数里肯定有$y$&＃xff0c;无非就是再多点东西
  • 另外假设这里的$w$就是靠近底层的一个参数&＃xff0c;就这样表示计算梯度了
• 需要保证∂y∂w\frac{\partial y}{\partial w}∂w∂y​求导出的结果/梯度&＃xff0c;不会特别小。因为在梯度更新时&＃xff0c;会根据w&＃61;w−η∂y∂ww&＃61;w-\eta \frac{\partial y}{\partial w}w&＃61;w−η∂w∂y​来更新参数$w$&＃xff0c;如果梯度很小&＃xff0c;那么调节学习率也不好调&＃xff0c;数值稳定性会发生一些问题&＃xff08;比如梯度消失&＃xff0c;那网络其实就死了&＃xff0c;权重不会更新了&＃xff09;。所以我们希望计算出来的梯度不要太小

接下来&＃xff0c;假设在这个网络上面再加一些层&＃xff0c;也就是对$f$进行扩充&＃xff0c;把这个函数变得更复杂&＃xff0c;加东西。

• 图像中紫色笔写的&＃xff0c;假设加了一个$g(x)$&＃xff0c;那么加之后就变成y′&＃61;g(f(x))y&＃39;&＃61;g(f(x))y′&＃61;g(f(x))&＃xff0c;y′y&＃39;y′只是个记号表示&＃xff0c;不是一阶导数。比如就是在$f(x)$这10个卷积层上面&＃xff0c;再加了10个卷积层&＃xff08;$g(x)$&＃xff09;
• 那么还是去看$f(x)$里的$w$(靠近底层/数据端的那个参数)&＃xff0c;根据复合函数求导的链式法则,它的求导就变成了&＃xff1a;
  ∂y′∂w&＃61;∂y′∂y∂y∂w&＃61;∂g(y)∂y∂y∂w\begin{aligned} \frac{\partial y&＃39;}{\partial w}&&＃61;\frac{\partial y&＃39;}{\partial y}\frac{\partial y}{\partial w}\\ &&＃61;\frac{\partial g(y)}{\partial y}\frac{\partial y}{\partial w} \end{aligned}∂w∂y′​​&＃61;∂y∂y′​∂w∂y​&＃61;∂y∂g(y)​∂w∂y​​
• 从结果中可以看到&＃xff0c;梯度的右半部分&＃xff0c;和之前是一样的&＃xff1b;问题出现在左半部分&＃xff0c;相当于新加的那部分层对$y$进行求导&＃xff0c;也就是$g(y)$这个网络对它的输入$y$求导。
• 如果用的是拟合能力特别强的网络&＃xff0c;比如AlexNet&＃xff0c;靠近输出层的部分是三个超大的FC层&＃xff0c;那么左半部分的这个∂g(y)∂y\frac{\partial g(y)}{\partial y}∂y∂g(y)​会很快变得特别小&＃xff0c;
  • 解释一下&＃xff0c;$g(y)$是$y\&＃61;f(x)$上面的层&＃xff0c;相对来说&＃xff0c;是高层/靠近输出端的层&＃xff0c;所以在求梯度的时候&＃xff0c;高层参数的导数会更大&＃xff0c;也就是参数更新会快。参数更新快&＃xff0c;那么损失函数就在减小&＃xff08;和$y$一样&＃xff0c;这里也把$y′y&＃39;y′粗略的作为损失函数&＃xff09;&＃xff0c;那么∂g(y)∂y\frac{\partial g(y)}{\partial y}∂y∂g(y)​就会很快变小。
  • 带来的问题就是&＃xff0c;底层的梯度&＃xff0c;更小&＃xff01;&＃xff08;一个很小的数&＃xff0c;乘以 加层之前的梯度&＃xff0c;那么之前底层的梯度&＃xff0c;也就会更小&＃xff09;
• 当梯度很小的时候&＃xff0c;要么增大学习率&＃xff0c;
  • 但是增大也不一定特别有用&＃xff0c;因为不能增的太大&＃xff0c;
  • $g(y)$里的$w$合适的学习率 ≠ $f(x)$里的$w$的合适的学习率&＃xff0c;如果增的太大&＃xff0c;那么$g(y)$里的$w$就很可能梯度爆炸&＃xff0c;整个就不稳定了
• 当网络越深&＃xff0c;那么越靠近数据层/底层&＃xff0c;梯度就会越小&＃xff0c;越容易出问题&＃xff01;&＃xff08;所以网络变深的时候就非常容易梯度消失&＃xff09;
  • 这是由于层之间是函数嵌套的关系&＃xff0c;所以求导的时候都是乘法
  • 考虑将乘法变成加法&＃xff0c;也就是把网络中层的嵌套&＃xff0c;变成网络中层的并行&＃xff01;

现在看一下resnet是怎么解决梯度消失的问题的&＃xff0c;绿色笔

假设resnet这个网络&＃xff0c;输出用y′′y&＃39;&＃39;y′′表示&＃xff08;不是$y$的二阶表示&＃xff0c;虽然这个表示真的很有歧义&＃xff09;&＃xff0c;那么可以表示为&＃xff1a;y′′&＃61;f(x)&＃43;g(f(x))y&＃39;&＃39;&＃61;f(x)&＃43;g(f(x))y′′&＃61;f(x)&＃43;g(f(x))
其实就是那个残差链接干的事情&＃xff0c;就是residual block的公式&＃xff0c;$g(x)\&＃61;x\&＃43;f(x)$&＃xff0c;只是residual block的这个公式里的$x$&＃xff0c;本身也是下面一个子网络的输出。
y′′&＃61;f(x)&＃43;g(f(x))g(x)&＃61;x&＃43;f(x)\begin{aligned} y&＃39;&＃39;&＃61;&f(x)&＃43;g(f(x))\\ g(x)&＃61;&x&＃43;f(x) \end{aligned}y′′&＃61;g(x)&＃61;​f(x)&＃43;g(f(x))x&＃43;f(x)​对照一下这两个公式&＃xff0c;则第二行的$x$就相当于第一行的$f(x)$,第二行的$f()$就相当于第一行的$g()$。其实是一样的
另外&＃xff0c;化简一下&＃xff1a;
y′′&＃61;f(x)&＃43;g(f(x))&＃61;y&＃43;y′y&＃39;&＃39;&＃61;f(x)&＃43;g(f(x))&＃61;y&＃43;y&＃39;y′′&＃61;f(x)&＃43;g(f(x))&＃61;y&＃43;y′
那么此时求导结果其实就是&＃xff1a;
∂y′′∂w&＃61;∂y∂w&＃43;∂y′∂w\frac{\partial y&＃39;&＃39;}{\partial w}&＃61;\frac{\partial y}{\partial w}&＃43;\frac{\partial y&＃39;}{\partial w}∂w∂y′′​&＃61;∂w∂y​&＃43;∂w∂y′​

• 加法的左项就是最原始的底层求导结果&＃xff0c;右项是加了层之后的结果
• 左边一直是那么大&＃xff0c;右边就算乘上了高层的导数导致∂y′∂w\frac{\partial y&＃39;}{\partial w}∂w∂y′​整体比较小&＃xff0c;也没关系啊&＃xff0c;我原始的左边的导数一直存在&＃xff01; &＃xff08;右边那个乘积大小我都不care了&＃xff0c;再小我左边还有个大的顶着呢&＃xff0c;天塌下来高个子顶着&＃x1f913;&＃xff09;
• 大数$\&＃43;$小数还是等于大数&＃xff0c;但是大数$\times$小数就有可能变成小数了

总结

• 这就是这个residual connection起到的作用&＃xff0c;这个跳转连接保证了底层的梯度&＃xff0c;不会比加新层&＃xff08;梯度乘积&＃xff09;之前小&＃xff0c;不一定会变大&＃xff0c;但是一定不会变得更小。
  • 沐神的评论&＃xff1a;resnet后面出了很多论文来分析residual connection。上周视频是从函数嵌套&＃xff0c;这次是补了之前讲梯度时埋的一个坑。当然还有很多别的角度解释&＃xff0c;原始论文走的是residual这一条
  • 确实看起来很像&＃xff0c;RNN中越靠后的时间步&＃xff0c;对前面的信息记住的越少&＃xff0c;都是因为乘法导致的逐渐遗忘&＃xff0c;小数越来越小&＃xff08;梯度消失&＃xff09;&＃xff0c;大数越来越大&＃xff08;梯度爆炸&＃xff09;
• skip connection&＃xff08;在resnet中&＃xff0c;叫做residual connection &＃xff09;。直观上来看&＃xff0c;

• 黑色线&＃xff0c;每一个矩形&＃43;右侧的连线都是一个residual block&＃xff08;里面有两层卷积&＃xff09;&＃xff0c;
• 最下面是输入的数据层&＃xff0c;最上面是输出层
• 靠近数据段的参数是比较难训练的&＃xff0c;因为梯度消失的问题
• 但是加入residual connection之后&＃xff0c;靠近数据层的权重&＃xff0c;相当于有了一条新的从$y$直接到data的高速公路&＃xff08;不经过卷积层这些&＃xff0c;图中红色的线&＃xff09;&＃xff0c;原来的路&＃xff08;经过卷积层&＃xff09;梯度可以很小&＃xff0c;但是有了这个跳转连接之后&＃xff0c;有了梯度的加法&＃xff0c;那么靠近数据层的梯度就不会很小。

这是从梯度方面对residual connection的作用进行了一个解释&＃xff0c;之前是从函数解空间的角度

1.2 弹幕里的一些说法

1. resnet文章中说不是由于梯度消失引起的退化问题

• 我也记得&＃xff0c;之前都说BN是解决梯度消失的&＃xff0c;控制每层的分布尽量一致&＃xff0c;保证数值稳定性。
• 参考教材文档的小结&＃xff1a;

  • 学习嵌套函数&＃xff08;nested function&＃xff09;是训练神经网络的理想情况。在深层神经网络中&＃xff0c;学习另一层作为恒等映射&＃xff08;identity function&＃xff09;较容易&＃xff08;尽管这是一个极端情况&＃xff09;。
  • 残差映射可以更容易地学习同一函数&＃xff0c;例如将权重层中的参数近似为零。
  • 利用残差块&＃xff08;residual blocks&＃xff09;可以训练出一个有效的深层神经网络&＃xff1a;输入可以通过层间的残余连接更快地向前传播。
  • 残差网络&＃xff08;ResNet&＃xff09;对随后的深层神经网络设计产生了深远影响。

• 按照一般的说法&＃xff0c;resnet最大的贡献就是那个梯度高速通道&＃xff08;借助残差块直接从上一stage输出连接到下一stage输入&＃xff0c;即高速通道&＃xff09;

https://www.bilibili.com/video/BV1554y157E3?p&＃61;2

2.1 学习率可不可以让靠近输出的小一些&＃xff0c;让靠近输入的大一些&＃xff0c;这样会不会就可以缓解梯度消失的问题&＃xff1f;&＃xff08;layerwise&＃xff09;

• 这个问题其实就是表达&＃xff1a;能不能让每层的梯度都不一样&＃xff08;这样其实非常直接&＃xff0c;与其间接修改为加法避免梯度减小&＃xff0c;直接把每层的lr变得不一样&＃xff0c;越靠近底层&＃xff0c;lr越大&＃xff0c;不是更直接吗&＃xff1f;&＃xff09;
• 有很多layerwise的方法&＃xff0c;但是不好调&＃xff08;实用性不佳&＃xff09;&＃xff0c;相当于为了调节每层的学习率&＃xff0c;要加入一个新的Hyperparameter&＃xff0c;比如&＃xff1a;靠近输入的要调大&＃xff0c;调多大呢&＃xff1f;靠近输出要调小&＃xff0c;调多小呢&＃xff1f;&＃xff1f; 超参这种东西&＃xff0c;不确定性很大&＃xff0c;试验代价很高&＃xff1b;
• 相比于结构性&＃xff08;加一个residual block&＃xff0c;调整网络结构&＃xff09;这种确定的东西&＃xff0c;后者更加可控的一点&＃xff0c;所以大家宁可去选择这种可控的结构tricks&＃xff0c;也没有去选择调节超参这种吃力还不讨好的活。
• 另外&＃xff0c;通过调节学习率来调节参数更新是有局限性的&＃xff0c;比如梯度算下来是个很小的数字&＃xff0c;那如果lr调节超过float32位&＃xff0c;那么就会出现一些数值表示的问题。&＃xff08;计算机的数值表示&＃xff0c;这就是操作系统和底层指令集的问题了&＃xff0c;不是算法工程师可以解决的了&＃xff09;如果使用的是float16&＃xff0c;那问题就会更明显。

layer wise相关的资料

• 知乎话题&＃xff1a;Layer-Wise Training和Backpropagation有何本质区别&＃xff1f;
• 简书文章&＃xff1a;栈式自编码器的无监督逐层贪婪预训练(greedy layer-wise pre training)
• CSDN文章&＃xff1a;深度学习: greedy layer-wise pre-training (逐层贪婪预训练)
• 出自论文&＃xff1a;Yoshua Bengio&＃xff08;AI三巨头之一&＃xff09;——Greedy Layer-Wise Training of Deep Networks

弹幕里一句话

rmsprop可以&＃xff0c;我记得adagrad的learning rate就是单调递减的