SSD论文阅读

Single shot指明了SSD算法属于one-stage方法&＃xff0c;MultiBox指明了SSD是多框预测


参考

图中给出了不同算法的基本框架图&＃xff0c;对于Faster R-CNN&＃xff0c;其先通过CNN得到候选框&＃xff0c;然后再进行分类与回归&＃xff0c;而Yolo与SSD可以一步到位完成检测。相比Yolo&＃xff0c;SSD采用CNN来直接进行检测&＃xff0c;而不是像Yolo那样在全连接层之后做检测。
这&＃xff08;采用卷积直接做检测&＃xff09;只是SSD相比Yolo的其中一个不同点&＃xff0c;另外还有两个重要的改变&＃xff0c;一是SSD提取了不同尺度的特征图来做检测&＃xff0c;大尺度特征图&＃xff08;较靠前的特征图&＃xff09;可以用来检测小物体&＃xff0c;
而小尺度特征图&＃xff08;较靠后的特征图&＃xff09;用来检测大物体&＃xff1b;二是SSD采用了不同尺度和长宽比的先验框。Yolo算法缺点是难以检测小目标&＃xff0c;而且定位不准&＃xff0c;但是这几点重要改进使得SSD在一定程度上克服这些缺点。
下面我们详细讲解SDD算法的原理。

输入一幅图片&＃xff08;300x300&＃xff09;&＃xff0c;将其输入到预训练好的分类网络中来获得不同大小的特征映射&＃xff0c;修改了传统的VGG16网络&＃xff1b;将VGG16的FC6和FC7层转化为卷积层&＃xff0c;如图1上的Conv6和Conv7&＃xff1b;
去掉所有的Dropout层和FC8层&＃xff1b;
添加了Atrous算法&＃xff08;hole算法&＃xff09;就是空洞卷积&＃xff1b;
【解释&＃xff1a;Atrous卷积&＃xff0c;就是带洞的卷积&＃xff0c;卷积核是稀疏的。】
将Pool5从2x2-S2变换到3x3-S1&＃xff1b;
【解释&＃xff1a;】抽取Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2层的feature map&＃xff0c;然后分别在这些feature map层上面的每一个点构造6个不同尺度大小的bbox&＃xff0c;然后分别进行检测和分类&＃xff0c;生成多个bbox&＃xff0c;如P5中的图所示&＃xff1b;将不同feature map获得的bbox结合起来&＃xff0c;经过NMS&＃xff08;非极大值抑制&＃xff09;方法来抑制掉一部分重叠或者不正确的bbox&＃xff0c;生成最终的bbox集合&＃xff08;即检测结果&＃xff09;&＃xff1b;算法细节
&＃xff08;1&＃xff09;多尺度特征映射
SSD算法中使用到了conv4_3,conv_7&＃xff0c;conv8_2,conv7_2,conv8_2,conv9_2,conv10_2,conv11_2这些大小不同的feature maps&＃xff0c;目的是为了能够准确的检测到不同尺度的物体&＃xff0c;因为在低层的feature map,感受野比较小&＃xff0c;高层的感受野比较大&＃xff0c;在不同的feature map进行卷积&＃xff0c;可以达到多尺度的目的。&＃xff08;对上面那段话进行解释&＃xff0c;先不念&＃xff09;我们将一张图片输入到一个卷积神经网络中&＃xff0c;经历了多个卷积层和池化层&＃xff0c;我们可以看到在不同的卷积层会输出不同大小的feature map&＃xff08;这是由于pooling层的存在&＃xff0c;它会将图片的尺寸变小&＃xff09;&＃xff0c;而且不同的feature map中含有不同的特征&＃xff0c;而不同的特征可能对我们的检测有不同的作用。总的来说&＃xff0c;浅层卷积层对边缘更加感兴趣&＃xff0c;可以获得一些细节信息&＃xff0c;而深层网络对由浅层特征构成的复杂特征更感兴趣&＃xff0c;可以获得一些语义信息&＃xff0c;对于检测任务而言&＃xff0c;一幅图像中的目标有复杂的有简单的&＃xff0c;对于简单的patch&＃xff08;补丁&＃xff09;我们利用浅层网络的特征就可以将其检测出来&＃xff0c;对于复杂的patch我们利用深层网络的特征就可以将其检测出来&＃xff0c;因此&＃xff0c;如果我们同时在不同的feature map上面进行目标检测&＃xff0c;理论上面应该会获得更好的检测效果。
原文链接&＃xff1a;https://blog.csdn.net/thisiszdy/article/details/89576389
&＃xff08;2&＃xff09;Defalut box

SSD中的Defalut box是预设一些目标预选框&＃xff0c;后续通过softmax分类&＃43;bounding box regression获得真实目标的位置。对于不同尺度的feature map 上使用不同的Default boxes。
如图所示&＃xff0c;我们选取的feature map包括38x38x512、19x19x1024、10x10x512、5x5x256、3x3x256、1x1x256&＃xff0c;Conv4_3之后的feature map默认的box是4个&＃xff0c;我们在38x38的这个平面上的每一点上面获得4个box&＃xff0c;那么我们总共可以获得38x38x4&＃61;5776个&＃xff1b;
同理&＃xff0c;我们依次将FC7、Conv8_2、Conv9_2、Conv10_2和Conv11_2的box数量设置为6、6、6、4、4&＃xff0c;那么我们可以获得的box分别为2166、600、150、36、4&＃xff0c;即我们总共可以获得8732个box&＃xff0c;然后我们将这些box送入NMS模块中&＃xff0c;获得最终的检测结果。


公式1中的sk表示先验框大小相对于图片的比例
公式2中的ar就是[1, 2, 3, 1/2, 1/3]


&＃xff08;上表&＃xff09;首先整体看一下SSD在VOC2007&＃xff0c;VOC2012及COCO数据集上的性能。相比之下&＃xff0c;SSD512的性能会更好一些。加*的表示使用了image expansion data augmentation&＃xff08;通过zoom out来创造小的训练样本&＃xff09;技巧来提升SSD在小目标上的检测效果&＃xff0c;所以性能会有所提升。&＃xff08;下表&＃xff09;基本可以看到&＃xff0c;SSD与Faster R-CNN有同样的准确度&＃xff0c;并且与Yolo具有同样较快地检测速度。

&＃xff08;上表&＃xff09;作者的验证方法是&＃xff1a;逐渐移除1:3,1:2的初始框&＃xff0c;观察模型的表现效果。得出结论:
数据扩增技术很重要&＃xff0c;对于mAP的提升很大&＃xff1b;
使用不同长宽比的先验框可以得到更好的结果&＃xff1b;