TensorRT模型加速|网络结构优化|低精度推理

 前言

TensorRT 优化主要包括网络结构优化和低精度推理&＃xff0c;本文将详细介绍这两种优化方式。其中网络结构优化通过“网络层及张量融合”实现&＃xff0c;低精度推理通过使用FP16或INT8进行模型推理实现。

一、低精度推理

背景&＃xff1a;神经网络在训练时采用高精度保存参数&＃xff0c;一般采用 32 位浮点数&＃xff08;Floating-Point, FP32&＃xff09;&＃xff0c;因此模型最后的 weights 也是 FP32 格式。

但是一旦完成训练&＃xff0c;所有的网络参数就已经是最优&＃xff0c;在推理过程中是无需进行反向迭代的&＃xff0c;因此可以在推理中使用半精度浮点数 fp16 和 8 位整形数&＃xff08;INT8&＃xff09;计算从而获得更小的模型&＃xff0c;低的显存占用率和延迟以及更高的吞吐率。 

1.1 简介

低精度推理是一种较为常用的模型量化算法&＃xff0c;通过将原始深度神经网络的高精度数据类型 转换为 低精度类型以达到显著减少网络运算时间的效果。

低精度推理方式&＃xff0c;通常有两种&＃xff1a;

• 采用半精度浮点数&＃xff08;Half-Precision Floating-Point&＃xff0c;FP16&＃xff09;
• 或 8 位整形数&＃xff08;INT8&＃xff09;

来代替单精度浮点数&＃xff08;Single-Precision Floating-Point&＃xff0c;FP32&＃xff09;的推理以保证模型具有较高的推理速度和精度。

1.2 低精度推理 的原理

训练阶段&＃xff1a;卷积神经网络在训练阶段的误差反向传播过程中&＃xff0c;有时参数的梯度更新微小&＃xff0c;因此其数值表示需要较高的精度&＃xff0c;参数需使用单精度浮点数&＃xff08;FP32&＃xff09;进行运算和存储。

即&＃xff1a;深度网络训练阶段的前向推理计算损失函数和反向梯度传播、权重参数更新等都是 采用 FP32 方式运算和存储。

推理阶段&＃xff1a;可将模型用于前向推理任务&＃xff08;它不需要 计算损失函数和反向梯度传播&＃xff09;&＃xff0c; 此过程对参数的精度要求较低&＃xff0c;因此可以通过稍微降低数据精度的方式来加快模型的前 向推理进程。使用采用半精度浮点数&＃xff08;FP16&＃xff09;或8 位整形数&＃xff08;INT8&＃xff09;。

单精度浮点数&＃xff08;FP32&＃xff09;存储方式如下图所示&＃xff1a;

 FP32 数据类型占用 32 位的计算机内存&＃xff0c;包含符号位、指数位和 尾数位三个部分&＃xff0c;采用浮点基数表示数值的动态范围。

• 第一部分是符号位&＃xff0c;占用 1 个 bit&＃xff0c; 符号位为 0 代表该数据为正数&＃xff0c;符号位为 1 代表该数据为负数。
• 第二部分是指数位&＃xff0c;占 用 8 个 bits&＃xff0c;使用科学计数法表示。
• 第三部分是尾数位&＃xff0c;占用 23 个 bits。

半精度浮点数&＃xff08;FP16&＃xff09;的存储方式如下图所示&＃xff1a;

 在计算机内存中占用 16 位&＃xff0c;与 FP32 类似&＃xff0c;同样包含符号位、指数位和尾数位三个部分。

• 第一部分 符号位占用 1 个 bit&＃xff0c;符号位 为 0 代表该数据为正数&＃xff0c;符号位为 1 代表该数据为负数。
• 第二部分 指数位占用 5 个 bits。
• 第三部分 尾数位 占用 10 个 bits。

从模型存储方式来看&＃xff0c;FP16 模型相比 FP32 模型所占用的存储空间更少&＃xff0c; 理论上 FP16 模型占用的存储空间为 FP32 的二分之一。

此外&＃xff0c;FP16 模型执行前向推理 运算时占用显存少&＃xff0c;网络计算效率高&＃xff0c;延迟时间短并且模型吞吐量更大。

二、网络层及张量融合

2.1 简介 

一般的网络结构中都含有较多的层&＃xff0c;当模型执行前向推理运算时&＃xff0c;每一层的计算都需要通过硬件中的 GPU 调用不同的 CUDA 核心函数来完成相应的计算。

通常 CUDA 核心函数执行张量计算的速度非常快&＃xff0c;但是调用 CUDA 核心函数以及读写每一网络层的输入、输出张量会消耗大量的时间&＃xff0c;导致出现 GPU 资源浪费和内存带宽占用等问题。

TensorRT 并不会改变最底层的运算内容&＃xff0c;而是对计算流图进行优化。通过合并相同的运算来简化网络。如下图所示&＃xff0c;(a)  具有多个卷积层和激活层的网络&＃xff1b;(b) Tensor RT 优化后的网络结构。

 &＃xff08;a&＃xff09;&＃xff0c;这个网络结构中有很多层&＃xff0c;在部署模型推理时&＃xff0c;每一层的运算操作都是由 GPU 完成的&＃xff0c;但实际上是 GPU 通过启动不同的 CUDA 核心来完成计算的。

分析&＃xff1a;CUDA 核心计算张量的速度很快&＃xff0c;但是大量的时间是浪费在 CUDA 核心的启动和对每一层输入/输出张量的读写操作上面&＃xff0c;这造成了内存带宽的瓶颈和GPU资源的浪费。

解决方案&＃xff1a;TensorRT 通过对层间的横向或纵向合并&＃xff0c;合并后的结构称为 CBR&＃xff08;Convolution&＃xff0c;Bias and Re LU&＃xff09;&＃xff0c;使得层的数量大大减少。

纵向合并可以把卷积、偏置和激活层合并成一个 CBR&＃xff0c;只占用一个 CUDA 核心。

横向合并可以把结构相同&＃xff0c;但是权值不同的层合并成一个更宽的层&＃xff0c;也只占用一个 CUDA 核心&＃xff0c;如图 &＃xff08;b&＃xff09;中的超宽的 1×1 CBR。

同时&＃xff0c;通过预分配输出缓存以及跳跃式写入方法来消除 concat 层。

通过这样的优化&＃xff0c;TensorRT 可以获得更小、更快、更高效的计算流图&＃xff0c;其拥有更少层的网络结构。下表列出了常见的 3 个网络在 TensorRT 优化后的网络层数量&＃xff0c;明显的看到 Tensor RT 可以有效的优化网络结构、较少网络层数从而带来的性能的提升。

2.2 案例&＃xff1a;Inception模块 进行网络层及张量融合

TensorRT 解析网络计算图时&＃xff0c;通过将网络层及张量进行融合&＃xff0c;从而减少CUDA 核心函数的调用次数以及网络层输入、输出张量的读写操作时间&＃xff0c;达到模型前向推理加速的目的。

如下图所示&＃xff0c;GoogLeNet中的 Inception 模块&＃xff0c;以该模块为例阐述网络层及张量融合的过程。

• 第一步如图&＃xff08;a&＃xff09;为原始网络结构&＃xff0c;首先特征图经过 Concat 操作后输入&＃xff08;Input&＃xff09;进模 块&＃xff0c;接下来是多组卷积层&＃xff08;Conv&＃xff09;、偏置层&＃xff08;Bias&＃xff09;和激活层&＃xff08;ReLU&＃xff09;&＃xff0c;然后将多个结 果 Concat 到一起&＃xff0c;最终得到下一个输出&＃xff08;Next Input&＃xff09;。
• 第二步如图&＃xff08;b&＃xff09;所示&＃xff0c;将网 络结构进行纵向融合&＃xff0c;把神经网络中依次连接的 Conv、Bias 和 ReLU 融合为一层&＃xff0c;即 “CBR”层。

• 第三步如图&＃xff08;c&＃xff09;所示&＃xff0c;将网络结构进行横向融合&＃xff0c;横向融合是把神经 网路中输入为相同张量以及执行相同操作的层融合为一层&＃xff0c;此过程将图 4.3&＃xff08;b&＃xff09;中 3 个 相连的 1×1 CBR 层融合为图 4.3&＃xff08;c&＃xff09;中一个更大的 1×1 CBR 层。
• 第四步如图&＃xff08;d&＃xff09; 所示&＃xff0c;Concat 操作用于实现多个输出矩阵的拼接&＃xff0c;TensorRT 能够实现多个输出矩阵与缓 冲区的直接连接&＃xff0c;并不需要专门的 Concat 操作&＃xff0c;因此可以将其删除&＃xff0c;网络当前层的输 出直接输入到下一层网络。

参考文献&＃xff1a;

[1] 尹昱航. 基于特征融合的交通场景目标检测方法研究[D]. 大连:大连理工大学, 2021.

[2] 葛壮壮. 基于嵌入式 GPU 的交通灯及数字检测[D]. 四川:电子科技大学, 2020.

 本文直供大家参考学习&＃xff0c;谢谢&＃xff01;