SparsityQuantization之自我理解

DNN的最初的动力是以precise为中心&＃xff0c;但随着DNN在Edge的推广&＃xff0c;Latency和Throuput则成了inference过程中关心的问题&＃xff1b;为了后者&＃xff0c;即使损失些精度&＃xff0c;都是可以接受的。

Inference的时间消耗主要分两部分&＃xff1a; Computing 和 Data move。如何在这两部分节约时间&＃xff0c;则就各显神通。如果就Ineference本身而言&＃xff0c;目前常用的方法也就是Sparsity和Quantization。

Sparsity

其中Sparsity处于比较尴尬的位置。公司的VPU处理器的一个卖点就是Sparsity&＃xff0c;但是推广时被问得最多的就是Sparsity能带来多大的性能收益。因为DNN在训练阶段&＃xff0c;考虑到Edge端资源受限&＃xff0c;会采用各种剪枝技术紧凑网络&＃xff0c;最后生成的网络weights中很少有能够压缩的成分。至于Activation sparsity&＃xff0c;在图像处理方面&＃xff0c;少有用武之地。

就Sparsity技术本身而言&＃xff0c;能减少数据搬移量&＃xff08;值为0的数据不搬移&＃xff09;&＃xff0c;且减少数据计算量&＃xff08;值为0的数据不计算&＃xff09;&＃xff0c;但也需要额外的硬件支撑&＃xff0c;并且还需要有额外的meta数据做管理。所以也只有在Sparsity rate达到一定的阀值时&＃xff0c;可能才有收益。

Quantization

而Quantization在Edge端则被广泛使用。数据位宽的变小&＃xff0c;在Computing 和 Data move这两个方面都会有明显的性能提高&＃xff0c;但对网络模型的要求就比较高了。

由于一般的DNN都是float数据类型&＃xff0c;为int8/int4等数据类型&＃xff0c;常用的做法是用工具将网络模型转换为支持Quantilization的模型。转换的过程&＃xff0c;其实就是线性压缩和平移的算术过程。

Quantization有per layer和per channel两种方式&＃xff0c;但是基于和normalization同样的道理&＃xff0c;per channel的物理意义更清楚。Float转int8所固有的问题也是Quantization的问题&＃xff0c;由于表示的数据范围变小&＃xff0c;如何做数据映射则成了避不开的问题。这方面的资料挺多&＃xff0c;就不展开了&＃xff0c;主要提带来的问题。

在VPU上使能一个网络模型时&＃xff0c;一般以在CPU的准确度为基准&＃xff1b;经过Quantization后&＃xff0c;会在VPU上得到自己的准确度。有时两者相差比较大&＃xff0c;问题一般就出在min/max超出了阀值&＃xff1b;或者某些layer的activation分布得不均匀&＃xff0c;无法以线性的方式做压缩。就需要手工调节&＃xff0c;修改scale和shift&＃xff0c;或者针对特殊layer&＃xff0c;修改数据映射方法。

一个比较完备的 神经网络模型量化综述&＃xff0c; 记录下来。