基于pytorch的模型剪枝+模型量化+BN合并+TRT部署（cifar数据）

篇首语：本文由编程笔记#小编为大家整理，主要介绍了基于pytorch的模型剪枝+模型量化+BN合并+TRT部署（cifar数据）相关的知识，希望对你有一定的参考价值。

相关代码下载地址：下载地址

压缩

• 量化：High-Bit(>2b): QAT, PTQ, QAFT; Low-Bit(≤2b)/Ternary and Binary: QAT


• 剪枝：正常、规整和分组卷积结构剪枝


• 针对特征(A)二值量化的BN融合(训练量化后，BN参数 —> conv的偏置b)


• High-Bit量化的BN融合(训练量化中，先融合再量化，融合：BN参数 —> conv的权重w和偏置b)

部署

• TensorRT(fp32/fp16/int8(ptq-calibration)、op-adapt(upsample)、dynamic_shape等)

环境要求

• python >= 3.5


• torch >= 1.1.0


• torchvison >= 0.3.0


• numpy


• Onnx== 1.6.0


• tensorrt == 7.0