用于视觉识别的深度卷积网络空间金字塔池化方法
Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
当前深度卷积神经网络&＃xff08;CNNs&＃xff09;都需要输入的图像尺寸固定&＃xff08;比如224×224&＃xff09;。这种人为的需要导致面对任意尺寸和比例的图像或子图像时降低识别的精度。本文中&＃xff0c;我们给网络配上一个叫做“空间金字塔池化”(spatial pyramid pooling,)的池化策略以消除上述限制。这个我们称之为SPP-net的网络结构能够产生固定大小的表示&＃xff08;representation&＃xff09;而不关心输入图像的尺寸或比例。金字塔池化对物体的形变十分鲁棒。由于诸多优点&＃xff0c;SPP-net可以普遍帮助改进各类基于CNN的图像分类方法。在ImageNet2012数据集上&＃xff0c;SPP-net将各种CNN架构的精度都大幅提升&＃xff0c;尽管这些架构有着各自不同的设计。在PASCAL VOC 2007和Caltech101数据集上&＃xff0c;SPP-net使用单一全图像表示在没有调优的情况下都达到了最好成绩。SPP-net在物体检测上也表现突出。使用SPP-net&＃xff0c;只需要从整张图片计算一次特征图&＃xff08;feature map&＃xff09;&＃xff0c;然后对任意尺寸的区域&＃xff08;子图像&＃xff09;进行特征池化以产生一个固定尺寸的表示用于训练检测器。这个方法避免了反复计算卷积特征。在处理测试图像时&＃xff0c;我们的方法在VOC2007数据集上&＃xff0c;达到相同或更好的性能情况下&＃xff0c;比R-CNN方法快24-102倍。在ImageNet大规模视觉识别任务挑战&＃xff08;ILSVRC&＃xff09;2014上&＃xff0c;我们的方法在物体检测上排名第2&＃xff0c;在物体分类上排名第3&＃xff0c;参赛的总共有38个组。本文也介绍了为了这个比赛所作的一些改进。
用一张图表示SPP-Net的贡献&＃xff08;将ROI体特征转到CNN提取一次&＃xff09;&＃xff1a;
R-CNN对于一张图片&＃xff0c;先使用segment seletive方法提取出约2000个候选区域&＃xff0c;然后将这两千个候选区域分别送入网络中&＃xff0c;即一张图片要经历2000次前向传播&＃xff0c;这样会造成大量冗余。
SPP-net则提出了一种从候选区域到全图的特征(feature map)之间的对应映射关系&＃xff0c;通过此种映射关系可以直接获取到候选区域的特征向量&＃xff0c;不需要重复使用CNN提取特征&＃xff0c;从而大幅度缩短训练时间。每张图片只需进行一次前向传播即可。
我们看到计算机视觉领域正在经历飞速的变化&＃xff0c;这一切得益于深度卷积神经网络&＃xff08;CNNs&＃xff09;[1]和大规模的训练数据的出现[2]。近来深度网络对图像分类 [3][4][5][6]&＃xff0c;物体检测 [7][8][5]和其他识别任务 [9][10][11][12]&＃xff0c;甚至很多非识别类任务上都表现出了明显的性能提升。
然而&＃xff0c;这些技术再训练和测试时都有一个问题&＃xff0c;这些流行的CNNs都需要输入的图像尺寸是固定的&＃xff08;比如224×224&＃xff09;&＃xff0c;这限制了输入图像的长宽比和缩放尺度。当遇到任意尺寸的图像是&＃xff0c;都是先将图像适应成固定尺寸&＃xff0c;方法包括裁剪[3][4]和变形[13][7]&＃xff0c;如图1&＃xff08;上&＃xff09;所示。但裁剪会导致信息的丢失&＃xff0c;变形会导致位置信息的扭曲&＃xff0c;就会影响识别的精度。另外&＃xff0c;一个预先定义好的尺寸在物体是缩放可变的时候就不适用了。
那么为什么CNNs需要一个固定的输入尺寸呢&＃xff1f;CNN主要由两部分组成&＃xff0c;卷积部分和其后的全连接部分。卷积部分通过滑窗进行计算&＃xff0c;并输出代表激活的空间排布的特征图&＃xff08;feature map&＃xff09;&＃xff08;图2&＃xff09;。事实上&＃xff0c;卷积并不需要固定的图像尺寸&＃xff0c;他可以产生任意尺寸的特征图。而另一方面&＃xff0c;根据定义&＃xff0c;全连接层则需要固定的尺寸输入。因此固定尺寸的问题来源于全连接层&＃xff0c;也是网络的最后阶段。本文引入一种空间金字塔池化( spatial pyramid pooling&＃xff0c;SPP)层以移除对网络固定尺寸的限制。尤其是&＃xff0c;将SPP层放在最后一个卷积层之后。SPP层对特征进行池化&＃xff0c;并产生固定长度的输出&＃xff0c;这个输出再喂给全连接层&＃xff08;或其他分类器&＃xff09;。换句话说&＃xff0c;在网络层次的较后阶段&＃xff08;也就是卷积层和全连接层之间&＃xff09;进行某种信息“汇总”&＃xff0c;可以避免在最开始的时候就进行裁剪或变形。图1&＃xff08;下&＃xff09;展示了引入SPP层之后的网络结构变化。我们称这种新型的网络结构为SPP-net。
空间金字塔池化[14][15]&＃xff08;普遍称谓&＃xff1a;空间金字塔匹配spatial pyramid matching, SPM[15]&＃xff09;&＃xff0c;是一种词袋(Bag-of-Words, BoW)模型的扩展。池袋模型是计算机视觉领域最成功的方法之一。它将图像切分成粗糙到精细各种级别&＃xff0c;然后整合其中的局部特征。在CNN之前&＃xff0c;SPP一直是各大分类比赛[17][18][19]和检测比赛&＃xff08;比如[20]&＃xff09;的冠军系统中的核心组件。对深度CNNs而言&＃xff0c;SPP有几个突出的优点&＃xff1a;1&＃xff09;SPP能在输入尺寸任意的情况下产生固定大小的输出&＃xff0c;而以前的深度网络[3]中的滑窗池化(sliding window pooling)则不能&＃xff1b;2&＃xff09;SPP使用了多级别的空间箱(bin)&＃xff0c;而滑窗池化则只用了一个窗口尺寸。多级池化对于物体的变形十分鲁棒[15]&＃xff1b;3&＃xff09;由于其对输入的灵活性&＃xff0c;SPP可以池化从各种尺度抽取出来的特征。通过实验&＃xff0c;我们将展示影响深度网络最终识别精度的所有这些因素。
SPP-net不仅仅让测试阶段允许任意尺寸的输入能够产生表示(representations)&＃xff0c;也允许训练阶段的图像可以有各种尺寸和缩放尺度。使用各种尺寸的图像进行训练可以提高缩放不变性&＃xff0c;以及减少过拟合。我们开发了一个简单的多尺度训练方法。为了实现一个单一的能够接受各种输入尺寸的网络&＃xff0c;我们先使用分别训练固定输入尺寸的多个网络&＃xff0c;这些网络之间共享权重&＃xff08;Parameters&＃xff09;&＃xff0c;然后再一起来代表这个单一网络&＃xff08;译者注&＃xff1a;具体代表方式没有说清楚&＃xff0c;看后面怎么说吧&＃xff09;。每个epoch&＃xff0c;我们针对一个给定的输入尺寸进行网络训练&＃xff0c;然后在下一个epoch再切换到另一个尺寸。实验表明&＃xff0c;这种多尺度训练和传统的单一尺度训练一样可以收敛&＃xff0c;并且能达到更好的测试精度。
SPP的优点是与各类CNN设计是正交的。通过在ImageNet2012数据集上进行一系列可控的实验&＃xff0c;我们发现SPP对[3][4][5]这些不同的CNN架构都有提升。这些架构有不同的特征数量、尺寸、滑动距离&＃xff08;strides&＃xff09;、深度或其他的设计。所以我们有理由推测SPP可以帮助提升更多复杂的&＃xff08;更大、更深&＃xff09;的卷积架构。SPP-net也做到了 Caltech101 [21]和Pascal VOC 2007 [22]上的最好结果&＃xff0c;而只使用了一个全图像表示&＃xff0c;且没有调优。
在图像检测方面&＃xff0c;SPP-net也表现优异。目前领先的方法是R-CNN[7]&＃xff0c;候选窗口的特征是借助深度神经网络进行抽取的。此方法在VOC和ImageNet数据集上都表现出了出色的检测精度。但R-CNN的特征计算十分耗时&＃xff0c;因为他对每张图片中的上千个变形后的区域的像素反复调用CNN。本文中&＃xff0c;我们展示了我们只需要在整张图片上运行一次卷积网络层&＃xff08;不关心窗口的数量&＃xff09;&＃xff0c;然后再使用SPP-net在特征图上抽取特征。这个方法缩减了上百倍的耗时。在特征图&＃xff08;而不是图像区域&＃xff09;上训练和运行检测器是一个很受欢迎的想法[23][24][20][5]。但SPP-net延续了深度CNN特征图的优势&＃xff0c;也结合了SPP兼容任意窗口大小的灵活性&＃xff0c;所以做到了出色的精度和效率。我们的实验中&＃xff0c;基于SPP-net的系统&＃xff08;建立在R-CNN流水线上&＃xff09;比R-CNN计算特征要快24-120倍&＃xff0c;而精度却更高。结合最新的推荐方法EdgeBoxes[25]&＃xff0c;我们的系统达到了每张图片处理0.5s的速度&＃xff08;全部步骤&＃xff09;。这使得我们的方法变得更加实用。
本论文的一个早先版本发布在ECCV2014上。基于这个工作&＃xff0c;我们参加了ILSVRC 2014 [26]&＃xff0c;在38个团队中&＃xff0c;取得了物体检测第2名和图像分类第3名的成绩。针对ILSVRC 2014我们也做了很多修改。我们将展示SPP-nets可以将更深、更大的网络的性能显著提升。进一步&＃xff0c;受检测框架驱动&＃xff0c;我们发现借助灵活尺寸窗口对特征图进行多视角测试可以显著提高分类精度。本文对这些改动做了更加详细的说明。另外&＃xff0c;我们将代码放在了以方便大家研究&＃xff08;http://research.microsoft.com/en-us/um/people/kahe/&＃xff0c;译者注&＃xff1a;已失效&＃xff09;
在颇受欢迎的七层架构中[3][4]中&＃xff0c;前五层是卷积层&＃xff0c;其中一些后面跟着吃常委曾。从他们也使用滑窗的角度来看&＃xff0c;这些池化层也可以认为是“卷积的”。最后两层是全连接的&＃xff0c;跟着一个N路softmax输出&＃xff0c;其中N是类别的数量。上述的深度网络需要一个固定大小的图像尺寸。然后&＃xff0c;我们注意到&＃xff0c;固定尺寸的要求仅仅是因为全连接层的存在导致的。另一方面&＃xff0c;卷积层使用滑动的特征过滤器&＃xff0c;它们的输出基本保持了原始输入的比例关系。它们的输出就是特征图[1]-它们不仅涉及响应的强度&＃xff0c;还包括空间位置。图2中&＃xff0c;我们可视化了一些特征图。这些特征图来自于conv5层的一些过滤器。图2&＃xff08;c&＃xff09;显示了ImageNet数据集中激活最强的若干图像。可以看到一个过滤器能够被一些语义内容激活。例如&＃xff0c;第55个过滤器&＃xff08;图2&＃xff0c;左下&＃xff09;对圆形十分敏感&＃xff1b;第66层&＃xff08;图2&＃xff0c;右上&＃xff09;对a^形状特别敏感&＃xff1b;第118个过滤器&＃xff08;图2&＃xff0c;右下&＃xff09;对a_形状非常敏感。这些输入图像中的形状会激活相应位置的特征图&＃xff08;图2中的箭头&＃xff09;。 值得注意的是&＃xff0c;图2中生成的特征图并没有固定输入尺寸。深度卷积曾生成的特征图和传统方法[27][28]中的特征图很相似。这些传统方法中&＃xff0c;SIFT向量[29]或图像碎片[28]被密集地抽取出来&＃xff0c;在通过矢量量化[16][15][30]&＃xff0c;稀疏化[17][18]或Fisher核函数[19]进行编码。这些编码后的特征构成了特征图&＃xff0c;然后通过词袋&＃xff08;BoW&＃xff09;[16]或空间金字塔[14][15]进行池化。类似的深度卷积的特征也可以这样做。
卷积层接受任意大小的输入&＃xff0c;所以他们的输出也是各种大小。而分类器&＃xff08;SVM/softmax&＃xff09;或者全连接层UI需要固定的输入大小的向量。这种向量可以使用词袋方法[16]通过池化特征来生成。空间金字塔池化[14][15]对BoW进行了改进以便在池化过程中保留局部空间块&＃xff08;local spatial bins&＃xff09;中的空间保留。这些空间块的尺寸和图像的尺寸是成比例的&＃xff0c;这样块的数量就是固定的了。而前述深度网络的滑窗池化则对依赖于输入图像的尺寸。
为了让我们的神经网络适应任意尺寸的图像输入&＃xff0c;我们用一个空间金字塔池化层替换掉了最优一个池化层&＃xff08;最后一个卷积层之后的pool5&＃xff09;。图3示例了这种方法。在每个空间块中&＃xff0c;我们池化每个过滤器的响应&＃xff08;本文中采用了最大池化法&＃xff09;。空间金字塔的输出是一个kM维向量&＃xff0c;M代表块的数量&＃xff0c;k代表最后一层卷积层的过滤器的数量。这个固定维度的向量就是全连接层的输入。
有了空间金字塔池化&＃xff0c;输入图像就可以是任意尺寸了。不但允许任意比例关系&＃xff0c;而且支持任意缩放尺度。我们也可以将输入图像缩放到任意尺度(例如min(w;h)&＃61;180,224,…)并且使用同一个深度网络。当输入图像处于不同的空间尺度时&＃xff0c;带有相同大小卷积核的网络就可以在不同的尺度上抽取特征。跨多个尺度在传统方法中十分重要&＃xff0c;比如SIFT向量就经常在多个尺度上进行抽取[29][27]&＃xff08;受碎片和高斯过滤器的大小所决定&＃xff09;。我们接下来会说明多尺度在深度网络精度方面的重要作用。
有趣的是&＃xff0c;粗糙的金字塔级别只有一个块&＃xff0c;覆盖了整张图像。这就是一个全局池化操作&＃xff0c;当前有很多正在进行的工作正在研究它。[33]中&＃xff0c;一个放在全连接层之后的全局平均池化被用来提高测试阶段的精确度&＃xff1b;[34]中&＃xff0c;一个全局最大池化用于弱监督物体识别。全局池化操作相当于传统的词袋方法。
理论上将&＃xff0c;上述网络结构可以用标准的反向传播进行训练[1]&＃xff0c;与图像的大小无关。但实践中&＃xff0c;GPU的实现&＃xff08;如cuda-convnet[3]和Caffe[35]&＃xff09;更适合运行在固定输入图像上。接下来&＃xff0c;我们描述我们的训练方法能够在保持空间金字塔池化行为的同时还能充分利用GPU的优势。
单一尺寸训练&＃xff1a;
如前人的工作一样&＃xff0c;我们首先考虑接收裁剪成224×224图像的网络。裁剪的目的是数据增强。对于一个给定尺寸的图像&＃xff0c;我们先计算空间金字塔池化所需要的块&＃xff08;bins&＃xff09;的大小。试想一个尺寸是axa&＃xff08;也就是13×13&＃xff09;的conv5之后特征图。对于nxn块的金字塔级&＃xff0c;我们实现一个滑窗池化过程&＃xff0c;窗口大小为win &＃61; 上取整[a/n]&＃xff0c;步幅str &＃61; 下取整[a/n]. 对于l层金字塔&＃xff0c;我们实现l个这样的层。然后将l个层的输出进行连接输出给全连接层。图4展示了一个cuda卷积网络风格的3层金字塔的样例。(3×3, 2×2, 1×1)。
单一尺寸训练的主要目的是开启多级别池化行为。实验表明这是获取精度的一个原因。
多尺寸训练&＃xff1a;
携带SPP的网络可以应用于任意尺寸&＃xff0c;为了解决不同图像尺寸的训练问题&＃xff0c;我们考虑一些预设好的尺寸。现在考虑这两个尺寸&＃xff1a;180×180,224×224。我们使用缩放而不是裁剪&＃xff0c;将前述的224的区域图像变成180大小。这样&＃xff0c;不同尺度的区域仅仅是分辨率上的不同&＃xff0c;而不是内容和布局上的不同。对于接受180输入的网络&＃xff0c;我们实现另一个固定尺寸的网络。本例中&＃xff0c;conv5输出的特征图尺寸是axa&＃61;10×10。我们仍然使用win &＃61; 上取整[a/n]&＃xff0c;str &＃61; 下取整[a/n]&＃xff0c;实现每个金字塔池化层。这个180网络的空间金字塔层的输出的大小就和224网络的一样了。
这样&＃xff0c;这个180网络就和224网络拥有一样的参数了。换句话说&＃xff0c;训练过程中&＃xff0c;我们通过 使用共享参数的两个固定尺寸的网络实现了不同输入尺寸的SPP-net。
为了降低从一个网络&＃xff08;比如224&＃xff09;向另一个网络&＃xff08;比如180&＃xff09;切换的开销&＃xff0c;我们在每个网络上训练一个完整的epoch&＃xff0c;然后在下一个完成的epoch再切换到另一个网络&＃xff08;权重保留&＃xff09;。依此往复。实验中我们发现多尺寸训练的收敛速度和单尺寸差不多。
多尺寸训练的主要目的是在保证已经充分利用现在被较好优化的固定尺寸网络实现的同时&＃xff0c;模拟不同的输入尺寸。除了上述两个尺度的实现&＃xff0c;我们也在每个epoch中测试了不同的sxs输入&＃xff0c;s是从180到224之间均匀选取的。后面将在实验部分报告这些测试的结果。
注意&＃xff0c;上面的单尺寸或多尺寸解析度只用于训练。在测试阶段&＃xff0c;是直接对各种尺寸的图像应用SPP-net的。
我们在1000类别的Image2012训练集上训练了网络。我们的训练算法参照了前人的实践工作[3][4][36]。图像会被缩放&＃xff0c;以便较小的维度是256&＃xff0c;再从中间获得四个角裁出224×224。图像会通过水平翻转和颜色变换[3]进行数据增强。
最后两层全连接层会使用Dropout[3]。learning rate起始值是0.01&＃xff0c;当错误率停滞后就除以10。我们的实现基于公开的cuda-convnet源代码[3]和Caffe[35]。所有网络都是在单一GeForceGTX TitanGPU&＃xff08;6G内存&＃xff09;耗时二到四周训练的。
3.1.1、基准网络架构
SPP的优势是和使用的卷积神经网络无关。我研究了四种不同的网络架构[3][4][5]&＃xff08;或他们的修改版&＃xff09;&＃xff0c;对所有这些架构&＃xff0c;SPP都提升了准确度。基准架构如表1&＃xff0c;简单介绍如下&＃xff1a;
– ZF-5&＃xff1a;基于Zeiler和Fergus的“快速”模式[4]的网络架构。数字5代表5层卷积网络。
– Convnet*-5&＃xff1a;基于Krizhevsky等人工作[3]的修改。我们在conv2和conv3&＃xff08;而不是conv1和conv2&＃xff09;之后加入了两个池化层。这样&＃xff0c;每一层之后的特征图就和ZF-5的尺寸一样了。
– Overfeat-5/7&＃xff1a;基于Overfeat论文[5]&＃xff0c;使用了[6]的修改。对比ZF-5/Convnet*-5&＃xff0c;这个架构在最后一个池化层产生了更大的特征图&＃xff08;18×18而不是13×13&＃xff09;。还在conv3和后续的卷基层使用了更多的过滤器&＃xff08;512&＃xff09;。我们也研究了7层卷积网络&＃xff0c;其中conv3和conv7结构一样。
基准模型中&＃xff0c;最后卷积层之后的池化层会产生6×6的特征图&＃xff0c;然后跟着两个4096维度的全连接层&＃xff0c;和一个1000路的softmax层。这些基准网络的表现参见表2(a)&＃xff0c;我们针对ZF-5进行了70个epoch&＃xff0c;而其他的用了90个epoch。ZF-5的表现比[4]中报告的那个要好。增益主要来源于角落裁切来源于整张图片&＃xff0c;[36]中也提到了这点。
3.1.2、多层次池化提升准确度
表2&＃xff08;b&＃xff09;中我们显示了使用单尺寸训练的结果。训练和测试尺寸都是224×224.这些网络中&＃xff0c;卷积网络都和他们的基准网络有相同的结构&＃xff0c;只是最后卷积层之后的池化层&＃xff0c;被替换成了SPP层。表2中的结果我们使用了4层金字塔&＃xff0c;f6x6, 3×3, 2×2, 1x1g(总共50个块)。为了公平比较&＃xff0c;我们仍然使用标准的10-view预测法&＃xff0c;每个view都是一个224×224的裁切。表2&＃xff08;b&＃xff09;中的结果显示了明显的性能提升。有趣的是&＃xff0c;最大的提升&＃xff08;top-1 error&＃xff0c;1.65%&＃xff09;来自于精度最高的网络架构。既然我们一直使用相同10个裁切view。这些提升只能是来自于多层次池化。
值得注意的是多层次池化带来的提升不只是因为更多的参数&＃xff1b;而是因为多层次池化对对象的变形和空间布局更加鲁棒[15]。为了说明这个&＃xff0c;我们使用一个不同的4层金字塔&＃xff08;f4×4, 3×3, 2×2, 1×1g&＃xff0c;供30个块&＃xff09;训练另一个ZF-5网络。这个网络有更少的参数&＃xff0c;因为他的全连接层fc6有30×256维输入而不是36×256维。 网络的top-1/top-5错误率分别是35.06/14.04和50块的金字塔网络相近&＃xff0c;明显好于非SPP基准网络&＃xff08;35.99/14.76&＃xff09;。
3.1.3、多尺寸训练提升准确度
表2&＃xff08;c&＃xff09;展示了多尺寸训练的结果。训练尺寸是224和180&＃xff0c;测试尺寸是224。我们还使用标准的10-view预测法。所有架构的top-1/top-5错误率进一步下降。SPP-net(Overfeat-7)的Top-1 错误率降到29.68%&＃xff0c;比非SPP网络低了2.33%&＃xff0c;比单尺寸训练降低了0.68%。
除了使用180和224两个尺寸&＃xff0c;我们还随机选了[180;224]之间多个尺寸。SPP-net(Overfeat-7)的top1/5错误率是30.06%/10.96%。Top-1错误率比两尺寸版本有所下降&＃xff0c;可能因为224这个尺寸&＃xff08;测试时用的尺寸&＃xff09;被更少的访问到。但结果仍然比但尺寸版本要好。
之前的CNN解决方案[5][36]也处理了不同尺寸问题&＃xff0c;但他们主要是基于测试。在Overfeat[5]和Howard的方法[36]中&＃xff0c;单一网络在测试解决被应用于不同的尺度&＃xff0c;然后将分支平均。Howard进一步在低/高两个分辨率图像区域上训练了两个不同的网络&＃xff0c;然后平均分支。据我们所知&＃xff0c;我们是第一个对不同尺寸训练单一网络的方法。
3.1.4、全图像表示提升准确度
接下来我们研究全图像视角的准确度。我们将图像保持比例不变的情况下缩放到min(w;h)&＃61;256。SPP-net应用到一整张图像上。为了公平比较&＃xff0c;我们也计算中央224×224裁切这单一视图&＃xff08;上述评估都用过&＃xff09;的准确度。单视图比较的准确度见表3。验证了ZF-5/Overfeat-7&＃xff0c;top-1错误率在全视图表示中全部下降。这说明保持完整内容的重要性。即使网络训练时只使用了正方形图像&＃xff0c;却也可以很好地适应其他的比例。
对比表2和表3我们发现&＃xff0c;结合多种视图大体上要好于全图像视图。然而全视图图像的表示仍然有价值。首先&＃xff0c;经验上看&＃xff0c;我们发现&＃xff08;下节会讨论&＃xff09;即使结合几十个视图&＃xff0c;额外增加两个全图像视角&＃xff08;带翻转&＃xff09;仍然可以提高准确度大约0.2%。其次&＃xff0c;全图像视图从方法论上讲与传统方法[15][17][19]保持了一致&＃xff0c;这些方法中对整张图像进行编码的SIFT向量被池化在一起。第三&＃xff0c;在其他一些应用中&＃xff0c;比如图像恢复[37]&＃xff0c;相似度评分需要图像表示而不是分类得分。一个全图像的表示就会成为首选。
深度网络已经被用于物体检测。我们简要回顾一下最先进的R-CNN[7]。R-CNN首先使用选择性搜索[20]从每个图像中选出2000个候选窗口。然后将每个窗口中的图像区域变形到固定大小227×227。一个事先训练好的深度网络被用于抽取每个窗口的特征。然后用二分类的SVM分类器在这些特征上针对检测进行训练。R-CNN产生的引人注目的成果。但R-CNN在一张图像的2000个窗口上反复应用深度卷积网络&＃xff0c;十分耗时。在测试阶段的特征抽取式主要的耗时瓶颈。
我们将SPP-net应用于物体检测。只在整张图像上抽取一次特征。然后在每个特征图的候选窗口上应用空间金字塔池化&＃xff0c;形成这个窗口的一个固定长度表示&＃xff08;见图5&＃xff09;。因为只应用一次卷积网络&＃xff0c;我们的方法快得多。我们的方法是从特征图中直接抽取特征&＃xff0c;而R-CNN则要从图像区域抽取。之前的一些工作中&＃xff0c;可变性部件模型(Deformable Part Model, DPM)从HOG[24]特征图的窗口中抽取图像&＃xff0c;选择性搜索方法[20]从SIFT编码后的特征图的窗口中抽取特征。Overfeat也是从卷积特征图中抽取特征&＃xff0c;但需要预定义的窗口尺寸。作为对比&＃xff0c;我们的特征抽取可以在任意尺寸的深度卷积特征图窗口上。
我们使用选择性搜索[20]的“fast”模式对每张图片产生2000个候选窗口。然后缩放图像以满足min(w;h) &＃61; s&＃xff0c;并且从整张图像中抽取特征图。我们暂时使用ZF-5的SPP-net模型&＃xff08;单一尺寸训练&＃xff09;。在每个候选窗口&＃xff0c;我们使用一个4级空间金字塔&＃xff08;1×1, 2×2, 3×3, 6×6, 总共50块&＃xff09;。每个窗口将产生一个12800&＃xff08;256×50&＃xff09;维的表示。这些表示传递给网络的全连接层。然后我们针对每个分类训练一个二分线性SVM分类器。我们的SVN实现追随了[20][7]。我们使用真实标注的窗口去生成正例。负例是那些与正例窗口重叠不超过30%的窗口&＃xff08;使用IoU比例&＃xff09;。
如果一个负例与另一个负例重叠超过70%就会被移除。我们使用标准的难负例挖掘算法&＃xff08;standard hard negative mining [23]&＃xff09;训练SVM。这个步骤只迭代一次。对于全部20个分类训练SVM小于1个小时。测试阶段&＃xff0c;训练器用来对候选窗口打分。然后在打分窗口上使用最大值抑制[23]算法&＃xff08;30%的阈值&＃xff09;。
通过多尺度特征提取&＃xff0c;我们的方法可以得到改进。将图像缩放成min(w;h) &＃61; s \belongs S &＃61; {480; 576; 688; 864; 1200 }&＃xff0c;然后针对每个尺度计算conv5的特征图。一个结合这些这些不同尺度特征的策略是逐个channel的池化。但我们从经验上发现另一个策略有更好的效果。对于每个候选窗口&＃xff0c;我们选择一个单一尺度s \belongs S&＃xff0c;令缩放后的候选窗口的像素数量接近与224×224。然后我们从这个尺度抽取的特征图去计算窗口的特征。如果这个预定义的尺度足够密集&＃xff0c;窗口近似于正方形。我们的方法粗略地等效于将窗口缩放到224×224&＃xff0c;然后再从中抽取特征。但我们的方法在每个尺度只计算一次特征图&＃xff0c;不管有多少个候选窗口。
我们参照[7]对预训练的网络进行了调优。由于对于任意尺寸的窗口&＃xff0c;我们都是从conv5的特征图中吃画出特征来&＃xff0c;为了简单起见&＃xff0c;我们只调优全连接层。
本例中&＃xff0c;数据层接受conv5之后的固定长度的池化后的特征&＃xff0c;后面跟着fc_{6,7}和一个新的21路&＃xff08;有一个负例类别&＃xff09;fc8层。fc8的权重使用高斯分布进行初始化σ&＃61;0.01。我们修正所有的learning rate为1e-4&＃xff0c;再将全部三层调整为1e-5。调优过程中正例是与标注窗口重叠度达到[0.5, 1]的窗口&＃xff0c;负例是重叠度为[0.1, 0.5)的。每个mini-batch&＃xff0c;25%是正例。我们使用学习率1e-4训练了250k个minibatch&＃xff0c;然后使用1e-5训练50k个minibatch。
因为我们只调优fc层&＃xff0c;所以训练非常的快&＃xff0c;在GPU上只需要2个小时&＃xff0c;不包括预缓存特征图所需要的1小时。另外&＃xff0c;遵循[7]&＃xff0c;我们使用了约束框回归来后处理预测窗口。用于回归的特征也是conv5之后的池化后的特征。用于回归训练的是那些与标注窗口至少重叠50%的窗口。
我们在Pascal VOC 2007数据集的检测任务上&＃xff0c;评测了我们的方法。表9展示了我们的不同层的结果&＃xff0c;使用了1-scale&＃xff08;s&＃61;688&＃xff09;或5-scale。R-CNN的结果见[7]&＃xff0c;他们使用了5个卷积层的AlexNet[3]。使用pool5层我们的结果是44.9%&＃xff0c;R-CNN的结果是44.2%。但使用未调优的fc6层&＃xff0c;我们的结果就不好。可能是我们的fc层针对图像区域进行了预训练&＃xff0c;在检测案例中&＃xff0c;他们用于特征图区域。而特征图区域在窗口框附近会有较强的激活&＃xff0c;而图像的区域就不会这样。这种用法的不同是可以通过调优解决的。使用调优后的fc层&＃xff0c;我们的结果就比R-CNN稍胜一筹。经过约束狂回归&＃xff0c;我们的5-scale结果&＃xff08;59.2%&＃xff09;比R-CNN&＃xff08;58.5%&＃xff09;高0.7%。&＃xff0c;而1-scale结果&＃xff08;58.0%&＃xff09;要差0.5%。
表10中&＃xff0c;我们进一步使用相同预训练的SPPnet模型&＃xff08;ZF-5&＃xff09;和R-CNN进行比较。本例中&＃xff0c;我们的方法和R-CNN有相当的平均成绩。R-CNN的结果是通过预训练模型进行提升的。这是因为ZF-5比AlexNet有更好的架构&＃xff0c;而且SPPnet是多层次池化&＃xff08;如果使用非SPP的ZF-5&＃xff0c;R-CNN的结果就会下降&＃xff09;。表11表明了每个类别的结果。表也包含了其他方法。选择性搜索&＃xff08;SS&＃xff09;[20]在SIFT特征图上应用空间金字塔匹配。DPM[23]和Regionlet[39]都是基于HOG特征的[24]。Regionlet方法通过结合包含conv5的同步特征可以提升到46.1%。DetectorNet[40]训练一个深度网络&＃xff0c;可以输出像素级的对象遮罩。这个方法仅仅需要对整张图片应用深度网络一次&＃xff0c;和我们的方法一样。但他们的方法mAP比较低(30.5%)。
模型结合对于提升CNN为基础的分类准确度有重要的提升作用[3]。我们提出一种简单的用于检测的结合方法。
首先在ImageNet上预训练另一个网络&＃xff0c;使用的结构都相同&＃xff0c;只是随机初始化不同。然后我们重复上述的检测算法。表12&＃xff08;SPP-net&＃xff08;2&＃xff09;&＃xff09;显示了这个网络的结果。他的mAP可以和第一名的网络相媲美&＃xff08;59.1%vs59.2%&＃xff09;&＃xff0c;并且在11个类别上要好于第一网络。
给定两个模型&＃xff0c;我们首先使用每个模型对测试图像的候选框进行打分。然后对并联的两个候选框集合上应用最大化抑制。一个方法比较置信的窗口就会压制另一个方法不太置信的窗口。通过这样的结合&＃xff0c;mAP提升到了60.9%&＃xff08;表12&＃xff09;。结合方法在20类中的17个的表现要好于单个模型。这意味着双模型是互补的。
我们进一步发现这个互补性主要是因为卷积层。我们尝试结合卷积模型完全相同的两个模型&＃xff0c;则没有任何效果。
SPP对于处理不同的尺度、尺寸和长宽比是十分灵活的解决方案。这些问题在视觉识别时非常重要&＃xff0c;但深度网络中大家却很少考虑这个问题。我们建议使用空间金字塔池化层来训练深度网络。这种SPP-net在分类和检测任务上都表现出了出色的精度并显著加速了DNN为基础的检测任务。我们的研究也表明很多CV领域成熟的技术再基于深度网络的识别中仍然可以发挥重要的作用。
扩展阅读&＃xff1a;
1、提供RCNN的问题及SPPnet解决的问题总结
卷积神经网络 物体检测 SPPnet / fast RCNN
2、提供SPPNet用于分类的训练解释&＃xff0c;及如何从一个region proposal 映射到feature map的位置
目标检测&＃xff08;3&＃xff09;-SPPNet - 知乎
京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有