CNN模型压缩——使用网络稀疏化方法（LearningEffcientConvolutionalNetworkthroughNetworkSliming）

论文&＃xff1a;Learning Effcient Convolutional Network through Network Sliming

CNN模型压缩最主要的是下面三个方面&＃xff1a;

1. 模型大小&＃xff08;model size&＃xff09;&＃xff0c;其中包含训练参数和关联的网络结构。
2. 运行内存&＃xff08;run-time memory&＃xff09;&＃xff0c;包括加载训练参数等。
3. 计算操作数量&＃xff08;numbers of computing operation&＃xff09;。

相比于CNN网络&＃xff0c;该方法做了以下修改&＃xff1a;

1. 训练的时候&＃xff0c;在第$i$层和第$i\&＃43;1$层加入了一层chennel scaling factors的训练层&＃xff0c;他们与前一层的卷积层意一一对应&＃xff0c;与后一层卷积层使用全连接。
2. 在训练完成之后&＃xff0c;检查scaling层的参数&＃xff0c;如果参数低于某一阈值就删除该chnnel&＃xff0c;并且还要对其他channel进行微调。

其他CNN模型压缩的方法还有:

• Low-rank Decomposition,该方法对全连接层有奇效。
• Weight Quantuzation&＃xff0c;该方法通过hash将权重由一个较大的范围转变到一个较小的范围。例如&＃xff0c;在MNIST中&＃xff0c;将像素的值由$[0,255]转变为[0,1]$。
• weight pruning/Sparsify&＃xff0c;权重剪枝&＃xff0c;将一些值较小的一些权重删去&＃xff0c;从而达到压缩的目的。
• structured pruning/sparsify,t通过随机停用一些channel来达到压缩的目的&＃xff0c;类似于TensorFlow中的Dropout层通过将一定数量的channel变为0类似。
• neural architecture learning&＃xff0c;这个类似于CNN中的Inception模型&＃xff0c;让网络在预先的几个模型中进行学习&＃xff0c;选择最好的。

稀疏化&＃xff1a;按照我的理解即是淘汰部分对结果影响较低的权重、或者通道等。

why choose chennel-level sparsify

稀疏化可以用于不同维度。我们可以在weight-level、kernel-level、channel-level、layer-level进行稀疏化。

在weight-level、kernel-level进行处理&＃xff0c;能够具有较高的压缩效率&＃xff0c;同时还兼具灵活性和普遍性&＃xff0c;但是往往需要软件以及硬件支持才能在准确度兼具的情况下进行。

相反&＃xff0c;在layer-level层面上进行&＃xff0c;就缺乏灵活性和普遍性&＃xff0c;事实上只有在层数>50时&＃xff0c;对layer进行稀疏化才能获得较好的效果。

在chennel层面进行稀疏化&＃xff0c;能够在一定程度上兼具上述优点&＃xff0c;同时不需要软件和硬件支持。

how to implement

在scaling层&＃xff0c;如果仅仅只将factor较小的channel删除&＃xff0c;那么仅仅只能压缩十分之一。因此,还需要对其他channel进行微调&＃xff08;fine-tune&＃xff09;&＃xff0c;在这里映入了L1-pealty loss即在最终的loss函数中加入正则化。
lossfunctiong:L&＃61;∑(x,y)l(f(x,W),y)&＃43;λ∑γ∈Tg(γ)loss functiong: \\ L &＃61; \sum_{(x,y)}l(f(x,W),y)&＃43;\lambda\sum_{\gamma\in \Tau}g(\gamma) lossfunctiong:L&＃61;(x,y)∑​l(f(x,W),y)&＃43;λγ∈T∑​g(γ)
其中&＃xff0c;$$\begin{gathered} (x,y)代表input\&＃xff0c;output\&＃xff0c; \\ W表示训练权重\&＃xff0c; \\ \lambda 表示平衡前后loss的超参数, \\ \mathrm{T}表示scaling层的参数\&＃xff0c; \\ 一般g函数选择L1或者是smooth-L1 \end{gathered}$$
下面是关于smooth-L1的解释&＃xff1a;

L1;smooth&＃61;{∣x∣if ∣x∣>α;1∣α∣x2if ∣x∣≤αL_{1;smooth} &＃61; \begin{cases}|x| & \text{if $|x|>\alpha$;} \\ \frac{1}{|\alpha|}x^2 & \text{if $|x| \leq \alpha$}\end{cases} L1;smooth​&＃61;{∣x∣∣α∣1​x2​if ∣x∣>α;if ∣x∣≤α​

$\alpha$ is a hyper-parameter here and is usually taken as 1. 1α\frac{1}{\alpha}α1​ appears near x2x^2x2 term to make it continuous.

Smooth L1-loss combines the advantages of L1-loss (steady gradients for large values of $x$) and L2-loss (less oscillations(振荡&＃xff0c;因为L1正则化当x在0附近时&＃xff0c;会在-1,1振荡) during updates when $x$ is small).

Another form of smooth L1-loss is Huber loss. They achieve the same thing. Taken from Wikipedia, Huber loss is
Lδ(a)&＃61;{12a2for ∣a∣≤δ,δ(∣a∣−12δ),otherwise.L_\delta (a) &＃61; \begin{cases} \frac{1}{2}{a^2} & \text{for } |a| \le \delta, \\ \delta (|a| - \frac{1}{2}\delta), & \text{otherwise.} \end{cases} Lδ​(a)&＃61;{21​a2δ(∣a∣−21​δ),​for ∣a∣≤δ,otherwise.​
——引用自StackExchange

在BN层中对数据进行下列变化&＃xff1a;
z^&＃61;zin−μβσ2&＃43;ϵ;zout&＃61;γz^&＃43;β{\widehat{z}&＃61;\frac{z_{in} - \mu_{\beta}}{\sqrt{\sigma^2&＃43;\epsilon}}}; {z_{out} &＃61; \gamma \widehat{z}&＃43;\beta} z

&＃61;σ2&＃43;ϵ

​zin​−μβ​​;zout​&＃61;γz

&＃43;β
其中μβ为样本中位数&＃xff0c;σ为方差&＃xff0c;γ,β是可训练的参数其中\mu_{\beta}为样本中位数&＃xff0c;\sigma为方差&＃xff0c;\\\gamma,\beta 是可训练的参数 其中μβ​为样本中位数&＃xff0c;σ为方差&＃xff0c;γ,β是可训练的参数
事实上&＃xff0c;如果我们不加入BN层&＃xff0c;scaling层的factor值就无法代表重要性&＃xff08;虽然我们依然可以通过参数来选择channel&＃xff09;&＃xff0c;因为我们可以将权重的值扩大n倍&＃xff0c;将factor的值缩小n倍&＃xff0c;而不会影响输出结果。
&＃xff08;待续&＃xff09;