ResNet架构详解与应用

1、概述：
ResNet（残差网络）于2015年首次提出，并在当年的ImageNet图像分类竞赛中夺冠。由于其简洁有效的特性，ResNet迅速成为众多后续研究的基础模型，广泛应用于目标检测、语义分割、人脸识别等多个领域。此外，AlphaZero等先进的人工智能系统也采用了ResNet作为其核心组件之一，这进一步证明了ResNet的强大性能和适应性。

2、深层网络的优势
（1）随着网络深度的增加，能够提取更为抽象和高级的特征；
（2）深层网络具有更强的表达能力，能更好地捕捉数据的复杂模式。

3、深层网络面临的挑战
（1）梯度消失或梯度爆炸问题，这阻碍了深层网络的有效训练；
（2）退化问题：随着网络层数的增加，训练误差不降反升。具体来说，当一个8层的普通网络在前6层达到最优状态后，即使后面两层设置为恒等映射（即权重w=1），理论上整体性能不应下降。然而，实验结果表明，随着层数的增加，实际训练误差反而增大，这就是所谓的退化问题。

4、解决策略：引入残差块
为了克服上述问题，ResNet引入了一种创新的结构——残差块。在残差块中，通过添加一条捷径连接（shortcut connection），可以直接将输入传递到后续的层，从而形成一个跳跃连接。这种设计使得网络可以学习到输入与输出之间的差异（即残差），而不是直接学习输入到输出的映射。因此，即使在网络非常深的情况下，也能有效地进行训练。

5、残差网络的具体解决方案
（1）缓解梯度消失问题：通过捷径连接，梯度可以在网络中更顺畅地向前传播，减少了梯度消失的风险；
（2）解决退化问题：实验结果显示，使用残差块构建的网络即使在非常深的情况下，也能保持较低的训练误差，有效避免了退化问题的发生。