论文笔记：VisualizingandUnderstandingConvolutionalNetworks

2014 ECCV
纽约大学 Matthew D. Zeiler, Rob Fergus

简单介绍&＃xff08;What&＃xff09;

1. 提出了一种可视化的技巧&＃xff0c;能够看到CNN中间层的特征功能和分类操作。
2. 通过对这些可视化信息进行分析&＃xff0c;我们可以
   • 直观了解和分析CNN学到的特征&＃xff08;中间层特征对应什么样的图像&＃xff09;
   • 可以找到提升模型的办法&＃xff08;观察中间层特征&＃xff0c;分析模型可以改进的地方&＃xff09;
   • 分析CNN的遮掩敏感性&＃xff08;遮住某一块区域后对分类结果的影响&＃xff09;
3. 这种可视化技巧主要用到反卷积的技术&＃xff0c;把中间层的激活特征映射回输入空间。

论文动机&＃xff08;Why&＃xff09;

1. 虽然CNN在图像任务上取得了优秀的表现&＃xff0c;但是看不到CNN的内部操作和复杂模型的表现行为&＃xff0c;不清楚它们为何会取得这么好的效果。
2. 在科学的角度上&＃xff0c;这是不能接收的&＃xff0c;没有清晰地理解CNN是如何工作以及为什么这样运作&＃xff0c;那么它的发展和进步就只能靠不断地“试错”。
3. 所以论文提出了可视化的技巧&＃xff0c;可以观察到训练过程中特征的演化和影响&＃xff0c;可以分析模型潜在的问题。

怎么做的&＃xff08;How&＃xff09;

1. 论文的网络结构和alexNet很类似&＃xff0c;做了一些改动&＃xff0c;比如stride变成2&＃xff0c;11x11的卷积核变成7x7的卷积核。
2. 为了把中间层的激活块映射回输入空间&＃xff0c;使用了反卷积的技术&＃xff0c;如下图所示&＃xff0c;右边是卷积网&＃xff0c;左边是反卷积网。
3. 反池化&＃xff1a;由于池化操作不可逆&＃xff0c;使用了一个近似可逆的方法&＃xff0c;用Switches记录每个池化块最大值的位置&＃xff0c;如下图所示&＃xff0c;这样就可以利用Switches和池化后的特征图&＃xff0c;反池化成Unpooled Maps
4. relu&＃xff1a;反池化后&＃xff0c;为了获得有效的特征重建&＃xff0c;也使用relu&＃xff0c;得到Rectified Unpooled Maps
5. 反卷积&＃xff1a;用原来卷积核的转置版本&＃xff0c;进行卷积操作&＃xff0c;得到重建的Reconstruction
   

特征可视化

1. 下图是对ImageNet训练完成后&＃xff0c;在验证集数据进行反卷积得到的各层的可视化结果。
2. 对于某个给定的feature map&＃xff0c;在数据集上选取激活值最强的9张图&＃xff0c;画成一个九宫格。把它们映射回输入空间后可以看到不同结构的重建特征图&＃xff08;灰色的那些图&＃xff09;&＃xff0c;以及这些特征图对应图像块&＃xff08;那些彩色图&＃xff09;。
3. 可以看到彩色图的变化比灰色图更大&＃xff0c;因为灰色图是集中于给出那些具有区分性的信息。
4. 可以看到每一层似乎在学习不同的东西&＃xff0c;第二层学习边缘&＃xff0c;角落信息&＃xff1b;第三层学到了一些比较复杂的模式&＃xff0c;网状&＃xff0c;轮胎&＃xff1b;第四层展示了一些比较明显的变化&＃xff0c;但是与类别更加相关了&＃xff0c;比如狗脸&＃xff0c;鸟腿&＃xff1b;第五层则看到了整个物体&＃xff0c;比如键盘&＃xff0c;狗。
   

训练过程的特征演化

1. 下图是随着训练的迭代&＃xff0c;特征图的变化&＃xff0c;每一层里面的8列表示不同epoch时的特征图。
2. 列出的特征图是&＃xff0c;对于该层的某个feature map&＃xff0c;在所有训练集中激活最强的那个样本的feature map。
3. 可以看到&＃xff0c;低层的特征图收敛地比较快&＃xff0c;而高层的特征图要到后面的epoch才开始变动。
   

帮助提升模型

1. 通过可视化可以看到alexNet模型中第一层和第二层&＃xff08;下图中的b和d&＃xff09;存在一些问题&＃xff0c;比如第二层有一些重叠和混乱
2. 通过把第一层的11x11卷积核变成7x7&＃xff0c;然后stride从4变成2&＃xff0c;得到的结果如图c和e所示&＃xff0c;得到了更多的独特的特征。
3. 这样的改动也提升了模型的效果。
   

遮挡敏感性

1. 如下图所示&＃xff0c;以第一张小狗图为例&＃xff0c;b图表示第5层激活最强的feature map&＃xff0c;每个位置的颜色表示那个位置被遮挡后的激活&＃xff0c;可以看到遮住狗脸后&＃xff0c;激活值最低&＃xff0c;也就是蓝色那块区域&＃xff0c;说明遮挡对模型有影响。
2. c图表示被遮住不同区域后&＃xff0c;第5层激活最强的feature map&＃xff0c;第一个图表示遮住狗脸后的。
3. d图中每个位置的颜色表示那个位置被遮挡后&＃xff0c;正确类别的概率。可以看到遮住狗脸后&＃xff0c;概率很低&＃xff0c;蓝色那一块&＃xff0c;说明遮挡对模型有影响。
4. e图中每个位置的颜色表示那个位置被遮挡后&＃xff0c;最可能的标签&＃xff0c;可以看到如果遮挡其它区域&＃xff0c;模型都能识别出为博美犬&＃xff0c;但是如果遮住了狗脸&＃xff0c;而不遮住球&＃xff0c;模型就会将样本分类为球。
5. 这展示了模型的遮挡敏感性&＃xff0c;模型确实学到了物体的位置&＃xff0c;而不是说只学到物体的环境上下文。
   

实验

1. 基于可视化后对AlexNet模型进行了修改&＃xff0c;提升了表现&＃xff0c;说明可以通过可视化的技巧分析和改善模型。
2. 对模型&＃xff08;alextNet以及自己修改后的模型&＃xff09;进行删除层&＃xff0c;修改层神经元大小&＃xff0c;对比实验结果&＃xff0c;观察变化。
3. 把ImageNet训练好的模型用于Caltech-101&＃xff0c;Caltech-256和PASCAL 2012数据集的训练&＃xff0c;发现ImageNet预训练过的模型表现要&＃xff08;比没预训练过的&＃xff09;好很多&＃xff0c;而且击败了一些前人的工作&＃xff0c;说明了CNN提取的特征的泛化能力&＃xff0c;以及ImageNet特征的强大。
4. 通过逐渐提升&＃xff08;预训练模型中保留的&＃xff09;层数&＃xff08;比如1层&＃xff0c;2层&＃xff0c;3层升到7层&＃xff09;&＃xff0c;把这些特征送到SVM和softmax中去分类&＃xff0c;得到的结果对比&＃xff0c;发现层数越深&＃xff0c;学到的特征越有用。

总结

1. 提出了一种可视化CNN的方法&＃xff0c;说明了内部特征并不是随机的&＃xff0c;是可以解释的。
2. 通过可视化CNN了解到了一些直觉上的特性&＃xff0c;比如随着增加层数&＃xff0c;类别的可区分度越高&＃xff0c;特征越有用。
3. 通过可视化CNN可以对模型进行分析和改善。
4. 通过可视化CNN的遮蔽实验&＃xff0c;发现模型对局部结构是敏感的&＃xff0c;并不是只用到了广阔的场景信息。
5. 展示了ImageNet的预训练模型可以很好地泛化到其它数据集。