RepVGG（ReparameterizationVGG）:MakingVGGstyleConvNetsGreatAgain

参考&＃xff1a;RepVGG网络简介_太阳花的小绿豆的博客-CSDN博客

参考&＃xff1a;Repvgg详解及其实现&＃xff08;pytorch&＃xff09;_一方热衷.的博客-CSDN博客

论文作者知乎&＃xff1a;RepVGG&＃xff1a;极简架构&＃xff0c;SOTA性能&＃xff0c;让VGG式模型再次伟大&＃xff08;CVPR-2021&＃xff09; - 知乎

官方开源代码&＃xff1a;https://github.com/DingXiaoH/RepVGG

本文部分内容参考自其他作者博客&＃xff0c;如有侵权请联系删除。

        尽管很多复杂的卷积神经网络模型比简单网络获得了更好的性能&＃xff0c;但是这些复杂网络也有显著的缺点&＃xff1a;

1. 复杂的多分支网络结构设计&＃xff08;如ResNet的残差模块&＃xff0c;Inception网络&＃xff09;&＃xff0c;导致模型能难实现&＃xff0c;降低模型推理性能&＃xff0c;增加显卡内存占用
2. 一些轻量化的操作&＃xff0c;如ShuffleNet中使用的通道shuffle&＃xff0c;以及MobileNet中使用的深度可分离卷积操作&＃xff0c;这些操作虽然可以降低模型的参数量&＃xff0c;但是增加了访问内存的次数&＃xff0c;并且这些操作不能很好的被一些设备支持&＃xff08;通常3x3卷积被优化和支持的最好&＃xff09;

MobileNetV1《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications》_胖胖大海的博客-CSDN博客

《MobileNetV2: Inverted Residuals and Linear Bottlenecks》_胖胖大海的博客-CSDN博客_invertedresidual

        单纯基于模型的参数量&＃xff0c;浮点计算量FLOPs来衡量模型的处理效率和推理速度是不准确的&＃xff0c;比如MobileNet使用了深度可分离卷积&＃xff0c;大幅降低了参数量和浮点计算量&＃xff0c;但是增加了访问内存的次数&＃xff0c;导致模型的推理速度提升并没有达到理想的程度。比如下图中EfficientNet的FLOPs计算量和参数量更小&＃xff0c;但是处理速度确并不一定快。

        在学术论文中通常喜欢使用模型的参数量和浮点运算量FLOPs来衡量模型的大小以及处理速度&＃xff0c;但是本文作者提出&＃xff0c;参数量和FLOPs并不能真正反映出模型真实的推理速度。另外两个影响推理速度的重要因素分别是&＃xff1a;

1. 模型访问内存的次数Memory Access Cost&＃xff08;MAC&＃xff09;&＃xff0c;Multi-Branch模型每个分支都要访问内存&＃xff0c;都要保存特征图&＃xff0c;虽然有的分支参数量和计算量并不高&＃xff08;比如1x1卷积分支&＃xff0c;Identity分支&＃xff0c;分组卷积等&＃xff09;&＃xff0c;但是访问内存的次数以及占用的内存大小都增加了
2. 模型的并行化程度&＃xff0c;Multi-Branch模型不同branch的速度不同&＃xff0c;但是需要等待其他分支&＃xff0c;导致算力资源的浪费&＃xff0c;并行度不高

RepVGG的优点&＃xff1a;

1. RepVGG的模型在推理阶段&＃xff0c;是一个想VGG网络一样扁平化的网络&＃xff0c;没有任何分支结构&＃xff0c;这样的模型占用更少的显卡内存&＃xff0c;访问内存的次数更少&＃xff0c;计算并行度更高&＃xff0c;所以计算效率就高
2. RepVGG的模型在推理阶段网络中只包括3x3的卷积操作和ReLU激活操作&＃xff0c;3x3的卷积操作执行效率很高的
3. RepVGG网络模型没有经过特殊的设计&＃xff0c;比如NAS搜索等

多分支Multi-branch模型为什么效果好&＃xff1f;

1. 从特征融合的层面理解&＃xff0c;不同的分支学习到了不同的表征&＃xff0c;融合之后的表征能力更强
2. 从特征和梯度复用的层面理解&＃xff0c;比如ResNeXt和DenseNet&＃xff0c;多个分支之间可以进行特征和梯度的复用
3. 从集成学习的层面理解&＃xff0c;比如ResNet里面的short-cut连接&＃xff0c;每遇到一个short-cut&＃xff0c;模型就可能有两种可能&＃xff0c;这样从头到尾模型就有2的N次方种可能&＃xff0c;就像是将2的N次方个模型的结果进行综合集成

单分支扁平化的模型为什么快&＃xff1f;

1. 只有一个分支不存在特征复制&＃xff0c;占用更少的显卡内存
2. 由于不存在其他分支访问特征&＃xff0c;访问内存的次数更少
3. 由于不存在其他分支进行并行计算&＃xff0c;所以不用等待其他分支处理完
4. 扁平化的模型算子种类更单一&＃xff0c;比如RepVGG里面只有3x3卷积和ReLU&＃xff0c;执行效率更高

这里贴上论文作者知乎解答&＃xff1a;

        鉴于多分支模型训练性能好&＃xff0c;推理性能差&＃xff0c;单分支扁平化模型训练性能差&＃xff0c;推理性能好的情况&＃xff0c;将二者综合&＃xff0c;试图构建一种网络模型&＃xff0c;在模型训练阶段使用多分支训练获得更好的训练性能&＃xff0c;在模型推理阶段将训练好的多分支模型恒等转换为单分支的扁平化模型&＃xff0c;推理阶段的网络模型中只有3x3的卷积和ReLU激活这两种操作。这其中的核心问题就是如何把多分支的模型转换为一个单分支的模型&＃xff1f;RepVGG里面把这个过程叫做结构重参数化技术。

1、Conv3x3 &＃43; BN --> Conv3x3&＃xff1a;

        BatchNorm在推理阶段的计算涉及4组参数&＃xff0c;每组参数的数量和特征的维度相同&＃xff0c;使用这4组参数计算BatchNorm。对于2D卷积的结果&＃xff0c;特征的维度大小就是输出的feature map的通道数。将Conv3x3 &＃43; BN融合成为一步Conv3x3&＃xff0c;重新设置Conv3x3中的权重和偏置参数。

2、Conv1x1 &＃43; BN -> Conv3x3:

1. 将1x1卷积核补0变成3x3卷积核,为了保证卷积之后的输出特征图大小不变&＃xff0c;给原始特征图的四周进行padding&＃xff0c;padding的大小为1,把Conv1x1 &＃43; BN -> Conv3x3 &＃43; BN
2. 使用第一步Conv3x3 &＃43; BN -> Conv3x3方法进行融合计算&＃xff0c;得到Conv1x1 &＃43; BN -> Conv3x3 &＃43; BN -> Conv3x3

3、BN -> Conv3x3:

1. 由于只有一个BN&＃xff0c;没有卷积操作&＃xff0c;先构建一个恒等的卷积操作&＃xff0c;卷积核的大小为1x1,第n个卷积核的第n个通道权重为1&＃xff0c;其余通道权重为0
2. 然后使用与Conv1x1 &＃43; BN -> Conv3x3相同的方法&＃xff0c;把1x1的卷积核补0扩展成3x3的卷积核&＃xff0c;Conv1x1 &＃43; BN -> Conv3x3 &＃43; BN
3. 然后使用第一步Conv3x3 &＃43; BN -> Conv3x3方法进行融合计算,得到BN -> Conv1x1 &＃43; BN -> Conv3x3 &＃43; BN -> Conv3x3

4、多分支Conv3x3融合成一个Conv3x3

        现在三个分支都转换成了Conv3x3操作&＃xff0c;并且输出的特征图形状相同&＃xff0c;由于卷积操作具有可加性&＃xff0c;多分支的卷积结果相加&＃xff0c;就等于多分支的卷积权重相加&＃xff0c;偏置相加构成一个新的卷积操作&＃xff0c;然后对输入特征图做一次卷积&＃xff0c;这样就把三次卷积压缩成一次卷积了。

备注&＃xff1a;RepVGG是为GPU和专用硬件设计的高效模型&＃xff0c;追求高速度、省内存&＃xff0c;较少关注参数量和理论计算量。在低算力设备上&＃xff0c;可能不如MobileNet和ShuffleNet系列适用。

# coding:utf-8
from collections import OrderedDict
import numpy as np
import torch
import torch.nn as nn
def Conv3x3BNToConv3x3(g&＃61;2, in_channels&＃61;4, out_channels&＃61;4, tol&＃61;1e-4):
"""
Conv3x3 &＃43; BN -> Conv3x3
1、对于2D卷积的结果&＃xff0c;特征的维度大小就是输出的feature map的通道数
2、BatchNorm在推理阶段的计算涉及4组参数&＃xff0c;每组参数的数量和特征的维度相同&＃xff0c;使用这4组参数计算BatchNorm
3、将Conv3x3 &＃43; BN融合成为一步Conv3x3&＃xff0c;重新设置Conv3x3中的权重和偏置参数
:return:
"""
torch.random.manual_seed(0)
f1 &＃61; torch.randn(1, in_channels, 3, 3)
module &＃61; nn.Sequential(OrderedDict(
# 原始卷积不使用偏置参数
conv&＃61;nn.Conv2d(in_channels&＃61;in_channels, out_channels&＃61;out_channels, kernel_size&＃61;3, stride&＃61;1, padding&＃61;1, bias&＃61;False, groups&＃61;g),
bn&＃61;nn.BatchNorm2d(num_features&＃61;out_channels)
))
# fuse conv &＃43; bn
# 获取原始卷积权重
kernel &＃61; module.conv.weight
# 获取BN的均值&＃xff0c;nn.Buffer
running_mean &＃61; module.bn.running_mean
# 获取BN的方差
running_var &＃61; module.bn.running_var
# 获取BN学习的权重参数
gamma &＃61; module.bn.weight
# 获取BN学习的偏置参数
beta &＃61; module.bn.bias
# BN计算时为了防止除0异常使用的数值稳定参数
eps &＃61; module.bn.eps
# 计算BN的标准差
std &＃61; (running_var &＃43; eps).sqrt()
print("kernel: {}".format(kernel.shape))
print("running_mean: {}".format(running_mean.shape))
print("running_var: {}".format(running_var.shape))
print("gamma: {}".format(gamma.shape))
print("beta: {}".format(beta.shape))
print("eps: {}".format(eps))
print("std: {}".format(std.shape))
print(gamma, beta, std)
# 计算卷积和BN融合之后对原卷积权重的缩放系数
t &＃61; (gamma / std).reshape(-1, 1, 1, 1) # [ch] -> [ch, 1, 1, 1]
# 对原始卷积的权重进行缩放
kernel &＃61; kernel * t
# 计算卷积和BN融合之后卷积操作的偏置
bias &＃61; beta - running_mean * gamma / std
fused_conv &＃61; nn.Conv2d(in_channels&＃61;in_channels, out_channels&＃61;out_channels, kernel_size&＃61;3, stride&＃61;1, padding&＃61;1, bias&＃61;True, groups&＃61;g)
# 将计算得到的卷积权重和偏置赋给新的卷积操作
fused_conv.load_state_dict(OrderedDict(weight&＃61;kernel, bias&＃61;bias))
module.eval()
fused_conv.eval()
with torch.no_grad():
out1 &＃61; module(f1).detach().cpu().numpy()
out2 &＃61; fused_conv(f1).detach().cpu().numpy()
print(out1)
print(out2)
print(np.allclose(out1, out2, rtol&＃61;tol, atol&＃61;tol))
def Conv1x1BNToConv3x3(g&＃61;2, in_channels&＃61;128, out_channels&＃61;128, tol&＃61;1e-4):
"""
Conv1x1 &＃43; BN -> Conv3x3 &＃43; BN -> Conv3x3
1、将1x1卷积核补0变成3x3卷积核,为了保证卷积之后的输出特征图大小不变&＃xff0c;给原始特征图的四周进行padding&＃xff0c;
padding的大小为1,把Conv1x1 &＃43; BN -> Conv3x3 &＃43; BN
2、使用Conv3x3BNToConv3x3方法进行融合计算&＃xff0c;把Conv3x3 &＃43; BN -> Conv3x3
:return:
"""
torch.random.manual_seed(0)
f1 &＃61; torch.randn(1, in_channels, 3, 3)
module &＃61; nn.Sequential(OrderedDict(
# 原始卷积不使用偏置参数
conv&＃61;nn.Conv2d(in_channels&＃61;in_channels, out_channels&＃61;out_channels, kernel_size&＃61;1, stride&＃61;1, padding&＃61;0, bias&＃61;False, groups&＃61;g),
bn&＃61;nn.BatchNorm2d(num_features&＃61;out_channels)
))
# fuse conv &＃43; bn
# 获取原始1x1卷积权重
kernel &＃61; module.conv.weight
# 获取BN的均值&＃xff0c;nn.Buffer
running_mean &＃61; module.bn.running_mean
# 获取BN的方差
running_var &＃61; module.bn.running_var
# 获取BN学习的权重参数
gamma &＃61; module.bn.weight
# 获取BN学习的偏置参数
beta &＃61; module.bn.bias
# BN计算时为了防止除0异常使用的数值稳定参数
eps &＃61; module.bn.eps
# 计算BN的标准差
std &＃61; (running_var &＃43; eps).sqrt()
# 初始化全为0的3x3卷积核
# 当使用分组卷积时&＃xff0c;每个卷积核的通道数等于输入通道数除以分组数
weight &＃61; torch.zeros(out_channels, in_channels // g, 3, 3, dtype&＃61;torch.float)
# 将1x1卷积核放在3x3卷积核的中间&＃xff0c;相当于对原始1x1卷积补0得到3x3卷积核
weight[:, :, 1:2, 1:2] &＃61; kernel.data
print("kernel: {}".format(kernel.data))
print("weight: {}".format(weight))
# 计算卷积和BN融合之后对原卷积权重的缩放系数
t &＃61; (gamma / std).reshape(-1, 1, 1, 1) # [ch] -> [ch, 1, 1, 1]
kernel_new &＃61; torch.nn.Parameter(weight * t, requires_grad&＃61;True)
print("kernel new: {}".format(kernel_new.data))
# 计算卷积和BN融合之后卷积操作的偏置
bias_new &＃61; beta - running_mean * gamma / std
fused_conv &＃61; nn.Conv2d(in_channels&＃61;in_channels, out_channels&＃61;out_channels, kernel_size&＃61;3, stride&＃61;1, padding&＃61;1, bias&＃61;True, groups&＃61;g)
# 将计算得到的卷积权重和偏置赋给新的卷积操作
fused_conv.load_state_dict(OrderedDict(weight&＃61;kernel_new, bias&＃61;bias_new))
module.eval()
fused_conv.eval()
with torch.no_grad():
out1 &＃61; module(f1).detach().cpu().numpy()
out2 &＃61; fused_conv(f1).detach().cpu().numpy()
print(out1)
print(out2)
print(np.allclose(out1, out2, rtol&＃61;tol, atol&＃61;tol))
def BNToConv3x3Group(g&＃61;2, in_channels&＃61;4, out_channels&＃61;4, tol&＃61;1e-4):
"""
BN -> Conv1x1 &＃43; BN -> Conv3x3 &＃43; BN -> Conv3x3
1、由于只有一个BN&＃xff0c;没有卷积操作&＃xff0c;先构建一个恒等的卷积操作&＃xff0c;卷积核的大小为1x1,第n个卷积核的第n个通道权重为1&＃xff0c;其余通道权重为0
2、然后使用与Conv1x1BNToConv3x3相同的方法&＃xff0c;把1x1的卷积核补0扩展成3x3的卷积核&＃xff0c;Conv1x1 &＃43; BN -> Conv3x3 &＃43; BN
3、然后使用Conv3x3BNToConv3x3进行融合计算,把Conv3x3 &＃43; BN -> Conv3x3
:return:
"""
torch.random.manual_seed(0)
f1 &＃61; torch.randn(1, in_channels, 3, 3)
bn &＃61; nn.BatchNorm2d(num_features&＃61;out_channels)
# 获取BN的均值&＃xff0c;nn.Buffer
running_mean &＃61; bn.running_mean
# 获取BN的方差
running_var &＃61; bn.running_var
# 获取BN学习的权重参数
gamma &＃61; bn.weight
# 获取BN学习的偏置参数
beta &＃61; bn.bias
# BN计算时为了防止除0异常使用的数值稳定参数
eps &＃61; bn.eps
# 计算BN的标准差
std &＃61; (running_var &＃43; eps).sqrt()
# 计算BN -> Conv3x3 &＃43; BN之后卷积权重的缩放系数
t &＃61; (gamma / std).reshape(-1, 1, 1, 1)
# 计算BN -> Conv3x3 &＃43; BN之后卷积的偏置
bias &＃61; beta - running_mean * gamma / std
# 设置卷积核&＃xff0c;如果第n个卷积核的第n个通道的最中心一个元素权重为1&＃xff0c;其余权重均为0
# 当使用分组卷积时&＃xff0c;每个卷积核的通道数等于输入通道数除以分组数
# 同时要在分组卷积中保持恒等映射的效果&＃xff0c;那么就要求在每个分组中&＃xff0c;第n个卷积核的第n个通道的最中心一个元素权重为1&＃xff0c;其余权重均为0
weight &＃61; torch.zeros(out_channels, in_channels // g, 3, 3, dtype&＃61;torch.float)
for i in range(in_channels):
# if g &＃61;&＃61; in_channels:
# j &＃61; 0
# elif g &＃61;&＃61; 1:
# j &＃61; i
# else:
# j &＃61; i % (in_channels // g)
j &＃61; i % (in_channels // g)
weight[i, j, 1:2, 1:2] &＃61; 1
kernel &＃61; torch.nn.Parameter(weight * t, requires_grad&＃61;True)
print("kernel: {}".format(kernel.data))
conv &＃61; nn.Conv2d(in_channels&＃61;in_channels, out_channels&＃61;out_channels, kernel_size&＃61;3, stride&＃61;1, padding&＃61;1, bias&＃61;True, groups&＃61;g)
conv.load_state_dict(OrderedDict(weight&＃61;kernel, bias&＃61;bias))
conv.eval()
bn.eval()
with torch.no_grad():
out1 &＃61; bn(f1).detach().cpu().numpy()
out2 &＃61; conv(f1).detach().cpu().numpy()
print(out1)
print(out2)
print(np.allclose(out1, out2, rtol&＃61;tol, atol&＃61;tol))
def FuseConv3x3(g&＃61;2, in_channels&＃61;4, out_channels&＃61;4, tol&＃61;1e-4):
"""
将多个Conv3x3卷积合并为一个Conv3x3卷积
将多个并行的Conv3x3卷积输出结果相加&＃xff0c;等同于先将多个Conv3x3卷积的权重相加&＃xff0c;偏置相加构成一个新的卷积操作&＃xff0c;然后作用于输入特征图
:return:
"""
torch.random.manual_seed(0)
f1 &＃61; torch.randn(1, in_channels, 3, 3)
conv1 &＃61; nn.Conv2d(in_channels&＃61;in_channels, out_channels&＃61;out_channels, kernel_size&＃61;3, stride&＃61;1, padding&＃61;1, bias&＃61;True, groups&＃61;g)
conv2 &＃61; nn.Conv2d(in_channels&＃61;in_channels, out_channels&＃61;out_channels, kernel_size&＃61;3, stride&＃61;1, padding&＃61;1, bias&＃61;True, groups&＃61;g)
conv3 &＃61; nn.Conv2d(in_channels&＃61;in_channels, out_channels&＃61;out_channels, kernel_size&＃61;3, stride&＃61;1, padding&＃61;1, bias&＃61;True, groups&＃61;g)
fuse_conv &＃61; nn.Conv2d(in_channels&＃61;in_channels, out_channels&＃61;out_channels, kernel_size&＃61;3, stride&＃61;1, padding&＃61;1, bias&＃61;True, groups&＃61;g)
kernel &＃61; conv1.weight &＃43; conv2.weight &＃43; conv3.weight
bias &＃61; conv1.bias &＃43; conv2.bias &＃43; conv3.bias
fuse_conv.load_state_dict(OrderedDict(weight&＃61;kernel, bias&＃61;bias))
conv1.eval()
conv2.eval()
conv3.eval()
fuse_conv.eval()
with torch.no_grad():
out1 &＃61; conv1(f1).detach().cpu().numpy()
out2 &＃61; conv2(f1).detach().cpu().numpy()
out3 &＃61; conv3(f1).detach().cpu().numpy()
fuse_out &＃61; fuse_conv(f1).detach().cpu().numpy()
print(out1 &＃43; out2 &＃43; out3)
print(fuse_out)
print(np.allclose(out1 &＃43; out2 &＃43; out3, fuse_out, rtol&＃61;tol, atol&＃61;tol))
if __name__ &＃61;&＃61; &＃39;__main__&＃39;:
# Conv3x3BNToConv3x3(g&＃61;128, in_channels&＃61;128, out_channels&＃61;128, tol&＃61;1e-6)
# Conv1x1BNToConv3x3(g&＃61;1, in_channels&＃61;128, out_channels&＃61;128, tol&＃61;1e-6)
# BNToConv3x3Group(g&＃61;128, in_channels&＃61;128, out_channels&＃61;128, tol&＃61;1e-6)
FuseConv3x3(g&＃61;128, in_channels&＃61;128, out_channels&＃61;128, tol&＃61;1e-5)