从YOLOv4看模型优化方法

YOLOv4中相关优化方法

1.Bag of freebies&＃xff08;增加训练时间&＃xff0c;不影响推理速度下提升性能&＃xff09;

1.1 数据增强&＃xff1a;

• 亮度、对比度、色调、饱和度、噪音等

• 随机缩放、裁剪、翻转、旋转等

• 模拟遮挡

  • random erase or CutOut: 随机将图像中的矩形区域随机填充像素值或置零
  • MixUp&＃xff1a;将两张图像按照一定比例因子进行叠加融合&＃xff0c;该比例因子服从B分布。融合后的label包含两张图像的所有标签。
  • CutMix&＃xff1a;从一张图中crop一块矩形图像到另一张图中&＃xff0c;对应融合后图像的label也要进行更新。
  • 风格迁移GAN&＃xff1a;通过GAN的方式扩增数据量

• feature map层面的增强

  • DropOut&＃xff1a;

    • 原理&＃xff1a;前向传播的时候&＃xff0c;让某个神经元的激活值以一定的概率1-p停止工作&＃xff08;输出值清0&＃xff09;&＃xff0c;bp更新权值时&＃xff0c;不再更新与该节点相连的权值。
    • 作用&＃xff1a;解决因参数过多导致的过拟合&＃xff0c;多用于全连接层。

  • DropConnect&＃xff1a;

    • 原理&＃xff1a;输出节点中将每个与其相连的输入权值以1-p的概率清0&＃xff08;模型权重清零&＃xff09;,DorpConnect为DorpOut的改进
    • dropout与dropconnect如下图&＃xff1a;

    

  • 作用&＃xff1a;针对卷积层正则化。

1.2 解决语义分布差异&＃xff08;类别不平衡&＃xff09;

• Two Stage检测使用&＃xff1a;

  • OHEM&＃xff1a;

    • 优点&＃xff1a;

      • 对于数据的类别不平衡问题不需要采用设置正负样本比例的方式来解决&＃xff0c;这种在线选择方式针对性更强
      • 当数据集增大&＃xff0c;算法可以在原来基础上提升更大

    • 核心&＃xff1a;核心是选择一些hard example作为训练的样本从而改善网络参数效果&＃xff0c;hard example指的是有多样性和高损失的样本

    • 原理&＃xff1a;&＃xff08;基于fast rcnn改进&＃xff09;hard example是根据每个ROI的损失来选择的&＃xff0c;选择损失最大的一些ROI。首先&＃xff0c;ROI经过ROI plooling层生成feature map&＃xff0c;然后进入只读的ROI network得到所有ROI的loss&＃xff1b;然后根据损失排序选出hard example&＃xff0c;并把这些hard example作为下面那个ROI network&＃xff08;从图中可知两个RoI Network是参数共享的&＃xff09;的输入进行训练。下面为OHEM原理图&＃xff1a;

      

  • RFB-Net

    • 背景&＃xff1a;在one stage检测中尽可能地增加backbone感受野
    • 原理&＃xff1a;借鉴了inception结构的并行结构&＃xff0c;并对不同大小卷积核后加上不同空洞率的空洞卷积(卷积核为kxk&＃xff0c;空洞率为k)&＃xff08;作者认为这样做对kernels的大小和离心率之间的关系进行了建模&＃xff09;
    • 图示

    

• ASFF(自适应尺度融合)

  • 原理&＃xff1a;首先通过FPN产生level1-level3不同尺度的特征图&＃xff0c;作者使用ASFF&＃xff08;adaptively spatial feature fusion&＃xff09;思想进行融合&＃xff0c;思想就是level1-level3个尺度图分别再融合成3个对应尺度的特征图&＃xff0c;融合的权重自适应调整。拿ASFF-1作为例子&＃xff0c;首先将3个尺度的图都resize到level1尺度大小&＃xff0c;然后学习一个融合权重(使用softmax 做不同feature map加权)&＃xff0c;这样可以更好地学习不同特征尺度对于预测特征图的贡献。
  • 原理图

  

• BiFPN模块–来自EfficientDet

  • 模块结构&＃xff1a;BiFPN是对PANet的改动&＃xff0c;提出了三个优化
    • 删掉那些只有一个输入边的节点&＃xff0c;因为只有一个输入边的节点就没有特征融合&＃xff0c;对特征网络的贡献少
    • 添加了从原始输入到输出节点的边&＃xff08;同一级别的输入输出&＃xff09;
    • 把双向路径看作是一个特征网络层&＃xff0c;就可以多次重复特征层得到更多的特征融合。&＃xff08;就是图中f子图&＃xff0c;可以把f图当作一个层&＃xff0c;可以多次重复&＃xff0c;前一层的5个输出&＃xff08;
      • 特点:Swish函数可以看做是介于线性函数与ReLU函数之间的平滑函数,模型效果优于ReLU

    • Hard-Swish

      • 公式:
        h−swish(x)&＃61;x∗ReLU6(x&＃43;3)6h-swish(x)&＃61;x*\frac{ReLU6(x&＃43;3)}{6} h−swish(x)&＃61;x∗6ReLU6(x&＃43;3)​

      • 曲线:

        

      • 特点:针对量化模式下对Swish的改进(Sigmoid比ReLU6耗时),使用ReLU6替换sigmoid

    • Mish:

      • 公式:

      Mish&＃61;x∗tanh(ln(1&＃43;ex))Mish&＃61; x*tanh(ln(1&＃43;e^x)) Mish&＃61;x∗tanh(ln(1&＃43;ex))

      • 曲线:

        

      • 特点:Mish激活函数比ReLU等激活函数更加平滑,训练更稳定精度有提升,有望替换ReLU,只是计算更复杂.

    
    

    2.5 后处理(anchor free无)

    
    

    • NMS

    • soft NMS:

      • 特点: 对于重叠框中除置信度最高的框外,将其余框的置信度用稍低一点的置信度来代替原有置信度&＃xff0c;而不是像NMS直接将iou超过阈值的框置信度置零.这种方式可以有效地增加重叠目标的召回.具体如何降低置信度的方式如下图公式:

        

    • DIoU NMS:

      • 特点: 基于soft NMS进行改进.将bbox中心点之间的距离信息考虑到置信度更新中来,将中心点距离信息作为soft NMS公式的偏执项.