FilterGraftingforDeepNeuralNetworks

Meng F, Cheng H, Li K, et al. Filter Grafting for Deep Neural Networks[J]. arXiv preprint arXiv:2001.05868, 2020.

收录于 CVPR2020

神经网络存在天然的无效滤波器&＃xff0c;滤波器剪枝&＃xff08;filter pruning&＃xff09;技术主要对无效的滤波器进行移除使网络的推理速度增加。然而在这篇文章中&＃xff0c;优图提出滤波器嫁接&＃xff08;filter grafting&＃xff09;技术。和pruning相反&＃xff0c;优图并不是移除网络的无效滤波器&＃xff0c;而是通过引入外部信息的方法来激活无效滤波器使之重新发挥作用。激活的方式为将其他网络的有效滤波器的参数嫁接到无效滤波器上。为了更好地发挥grafting的性能&＃xff0c;优图同时提出了信息熵相关的指标评估滤波器的好坏&＃xff0c;并用自适应的方式来平衡嫁接网络和被嫁接网络的参数。通过大量的实验&＃xff0c;表明grafting后的网络在有效滤波器的数量上和模型性能上均有大幅度的提高。

正在上传…重新上传取消

论文中提到3中嫁接方法&＃xff1a;

• Noise as Scions
• Internal Filters as Scions
• External Filters as Scions

1、Noise as Scions&＃xff08;使用噪音嫁接&＃xff09;

使用高斯噪声对无效滤波器进行修改

2、Internal Filters as Scions&＃xff08;使用内部滤波器进行嫁接&＃xff09;

正在上传…重新上传取消

首先根据l1范数对滤波器进行排序&＃xff0c;然后将l1范数较大的滤波器的权值移植到l1范数较小的滤波器中。

3、External Filters as Scions&＃xff08;嫁接外部滤波器&＃xff09;

正在上传…重新上传取消

两个网络之间的嫁接。每个网络接受来自另一个网络的信息。

尚未解决的问题&＃xff1a;

1) 在嫁接算法中&＃xff0c;如何在网络数目较大的情况下提高网络的性能

2) 如何将嫁接应用到具有不同网络结构的多个网络上