【DeepLearning】ResNet，ResNeXt，DenseNet网络结构

这两种网络模型搭建思想上有异曲同工之妙&＃xff0c;本来想找个时间对这两种模型进行一个详细的总结。参考了很多博客&＃xff0c;发现许多大牛都已经总结的非常对位。这里我就不进行详细总结了。下面列出了我认为几个总结比较好的链接&＃xff0c;方便以后查阅。

在论文中设计到大一些概念需要在这里给出一下。

1.“梯度消失”&＃xff1a;指的是即当梯度&＃xff08;小于1.0&＃xff09;在被反向传播到前面的层时&＃xff0c;重复的相乘可能会使梯度变得无限小。
2. “梯度爆炸”&＃xff1a;指的是即当梯度&＃xff08;大于1.0&＃xff09;在被反向传播到前面的层时&＃xff0c;重复的相乘可能会使梯度变得非常大甚至无限大导致溢出。
3. “plain Network”&＃xff1a;这个名词来自ResNet一文中&＃xff0c;它其实就是普通网络&＃xff0c;如下图所示&＃xff0c;不加任何Res连接和Dense连接。残差网络就是在plain Network网络基础上加shorcut&＃xff08;跳远连接&＃xff09;

ResNet

2015年&＃xff0c;作者He-Kaiming, Ren-Shaoqing, Sun-Jian
论文&＃xff1a;《Deep Residual Learning for Image Recognition》

论文链接&＃xff1a;https://arxiv.org/pdf/1512.03385.pdf

参考链接&＃xff1a;

1. https://baijiahao.baidu.com/s?id&＃61;1598536455758606033&wfr&＃61;spider&for&＃61;pc
2. https://www.jianshu.com/p/11f1a979b384

ResNeXt

2016年&＃xff0c;作者&＃xff1a;Saining Xie, Ross Girshick, Kaiming He
论文&＃xff1a;《Aggregated Residual Transformations for Deep Neural Networks》
论文连接&＃xff1a;http://arxiv.org/abs/1611.05431

代码连接&＃xff1a;
https://github.com/facebookresearch/ResNeXt&＃xff08;pytorch&＃xff09;
https://github.com/facebookresearch/ResNeXt&＃xff08;作者&＃xff1a;lua语言&＃xff09;
参考连接&＃xff1a;
https://zhuanlan.zhihu.com/p/68392975

DenseNet

论文&＃xff1a;《Densely Connected Convolutional Networks》

论文链接&＃xff1a;https&＃xff1a;//arxiv.org/pdf/1608.06993.pdf

代码的github链接&＃xff1a;https&＃xff1a;//github.com/liuzhuang13/DenseNet

参考链接&＃xff1a;
https://www.jianshu.com/p/8a117f639eef