卷积神经网络AlexNetVGGResNetDenseNetShuffleNetMobileNetGhostNetEfficientNetRepVGG

【图像去噪 paper 系列 (1) (2)】
【文档图像二值化数据集 databases】
【文档图像二值化 paper 系列 -1- | 系列 -2-】

找paper搭配 Sci-Hub 食用更佳 (๑•̀ㅂ•́)و✧
Sci-Hub 实时更新 : https://tool.yovisun.com/scihub/
公益科研通文献求助&＃xff1a;https://www.ablesci.com/
硕士期间我的公开数据集paperswithcode.com/dataset/cntd、tlhdibd2021、ceahb2021-5&＃xff0c;包含街景文本检测、文档图像识别、文档图像二值化

卷积神经网络list paper with code

1.ResNet

2.DenseNet

3.ShuffleNet

V1&＃xff1a;


V2&＃xff1a;

4.MobileNet

空间可分离卷积和深度可分离卷积

3×3的核分成一个3×1和一个1×3的核

V1&＃xff1a;

V2&＃xff1a;

V3&＃xff1a;

5.GhostNet

神经网络中的特征图冗余&＃xff0c;经过可视化后发现有些特征是相似的&＃xff0c;因此&＃xff0c;通过一些固定的普通卷积生成的特征图后进行线性操作&＃xff0c;进行融合减少计算量。

6.EfficientNet

V1&＃xff1a; 增加网络的深度(层数)、宽度(通道数)和更大的输入图像分辨率

MBConv 结构主要由一个1x1的普通卷积&＃xff08;升维作用&＃xff0c;包含BN和Swish激活函数&＃xff09;&＃xff0c;一个kxk的Depthwise Conv卷积&＃xff08;包含BN和Swish激活函数&＃xff09;&＃xff0c;一个SE模块&＃xff0c;一个1x1的普通卷积&＃xff08;降维作用&＃xff0c;包含BN&＃xff09;&＃xff0c;一个Droupout层构成。

V2: uses both MBConv and the newly added fused-MBConv

7.RepVGG

Advantages:
The model has a VGG-like plain (a.k.a. feed-forward) topology 1 without any branches. I.e., every layer takes the output of its only preceding layer as input and feeds the output into its only following layer.

The model’s body uses only 3 × 3 conv and ReLU.

The concrete architecture (including the specific depth and layer widths) is instantiated with no automatic search, manual refinement, compound scaling, nor other heavy designs.

Reference &＃xff1a;图解RepVGG

运用重参数化将多分支结构转换为简单结构&＃xff0c;网络推理时更快

训练时使用3×3 1×1和恒等残差块&＃xff0c;推理时将1×1卷积和恒等残差块融合进3×3

与BN层融合&＃xff1a;

与1×1卷积融合&＃xff1a;

3×3卷积需要padding一圈0&＃xff0c;其中间的卷积核与1×1卷积核路径相同。因此&＃xff0c;把1x1卷积核加在3x3卷积核中间&＃xff0c;就完成了卷积分支的融合。

与恒等残差块融合&＃xff1a;

先将其转换为1×1卷积&＃xff0c;再转换为3×3卷积。3个3×3的卷积核相加便为推理时的plain网络结构。

8.BN,SE,

SE模块由一个全局平均池化&＃xff0c;两个全连接层组成。