SEPC论文阅读

题目&＃xff1a;用于目标检测的金字塔尺度均衡卷积&＃xff08;简称SEPC&＃xff09;


图像处理基础总结
跨尺度相关性

尺度不变性&＃xff1a;就是我们在描述一个特征之前&＃xff0c;将两张图像都变换到同一个尺度上&＃xff0c;然后再在这个统一标准上来描述这个特征。&＃xff08;为了实现尺度不变性&＃xff0c;需要给特征加上尺度因子。在进行特征描述的时候&＃xff0c;将尺度统一就可以实现尺度不变性了。&＃xff09;
注&＃xff1a;尺度不变就是在特征点提取&＃xff0c;或者匹配的时候&＃xff0c;永远都把握好他就是那么大的存在&＃xff0c;不会因为缩放把它变形。SIFT&＃xff1a;尺度不变特征转换&＃xff0c;用来侦测与描述影像中的局部性特征&＃xff0c;它在空间尺度中寻找极值点&＃xff0c;并提取出其位置、尺度、旋转不变量深度神经网络中特征金字塔与高斯金字塔的区别&＃xff1a;
高斯金字塔可应用在深度神经网络上面&＃xff0c;但是由于它需要大量的运算和大量的内存。但是我们的特征金字塔可以在速度和准确率之间进行权衡&＃xff0c;可以通过它获得更加鲁棒的语义信息。尺度不变特征变换&＃xff08;SIFT&＃xff09;匹配算法详解&＃xff1a;
https://blog.csdn.net/memray/article/details/39234645

RetinaNet&＃xff1a;2017 CVPR
Subnet&＃xff1a;子网络&＃xff08;紧接着第6页PPT下面的话&＃xff09;但是实际使用中&＃xff0c;我们经常观察到不同尺度的物体相互竞争,
使得检测器在不同尺度的性能此高彼低的现象&＃xff0c;这些情况不太符合尺度等变特性&＃xff0c;这是为什么呢&＃xff1f;&＃xff08;见P7中的分析&＃xff09;

&＃xff08;本页先说&＃xff09;考虑到FPN的不同层的分辨率不同&＃xff08;不同pyramid level的特征图大小是不同的&＃xff09;&＃xff0c;我们由此提出金字塔卷积&＃xff08;Pconv&＃xff09;的结构&＃xff08;接着改页最下面的那句话&＃xff09;实际上是一个跨越尺度和空间维度的三维卷积。如果将每一层的特征表示为1个点&＃xff0c;如图a所示&＃xff0c;金字塔卷积可以表示为N个不同的2D卷积。
不同的金字塔水平上存在大小的不匹配&＃xff0c;空间大小随着金字塔水平的上升而缩小&＃xff0c;为了适应这种不匹配&＃xff0c;在不同层卷积时&＃xff0c;对K个不同的内核设置了不同的步长。

&＃xff08;对右上角图的解释&＃xff09;金字塔卷积为3-D卷积。三个卷积核&＃xff08;红色&＃xff0c;黄色和青色&＃xff09;用于此3-D卷积。
每个内核的卷积步幅随特征图的大小而缩放。框架颜色相同的要素图&＃xff08;例如 蓝色和粉红色&＃xff09;在相同框架颜色的右侧生成特征图。该图像仅用于显示比例&＃xff0c;不表示特征图不同pyramid level的特征图大小是不同的&＃xff0c;为了容纳不同的尺寸&＃xff0c;在PConv在处理不同的特征图时使用不同的stride&＃xff0c;论文采样N&＃61;3&＃xff0c;首个卷积核的stride为2&＃xff0c;最小的的卷积核的stride为0.5。对公式1的解释&＃xff1a;PConv可以表示为公式&＃xff08;1&＃xff09;&＃xff0c;w1,w0,w-1为3个独立的2-D卷积核&＃xff0c;x为输入的特征图,*s2代表stride为2的卷积核。对公式2的解释&＃xff1a;stride为0.5的卷积核先对特征图双线性上采样2倍&＃xff0c;再用stride为1的卷积核进行处理。PConv也使用zero-padding&＃xff0c;对于底层和顶层的pyramid level仅需使用公式2的其中两项即可&＃xff0c;PConv的计算量大约为原始FPN的1.5倍。&＃xff08;对上面两张图的一个分析&＃xff09;用特征金字塔相邻三层&＃xff08;P3,P4,P5&＃xff09;举例&＃xff0c;在P3上利用stride为2的conv进行卷积&＃xff0c;在P4上利用普通conv卷积&＃xff0c;P5上普通conv卷积然后upsample&＃xff0c;
得到相同大小的特征图然后相加&＃xff0c;不难推导&＃xff0c;其等效于在特征图上每一点在HW维度卷积后再在尺度空间&＃xff08;P3&＃xff0c;P4&＃xff0c;P5&＃xff09;进行一次卷积&＃xff0c;因此其相当于一个3-D的卷积核。&＃xff08;结合左图的FPN&＃xff09;

&＃xff08;a&＃xff09;最初的RetinaNet的头部设计&＃xff1b;&＃xff08;b&＃xff09;PConv的头部设计。在最终的输出卷积中&＃xff0c;
K是锚定框的数量&＃xff0c;对于无锚定方法&＃xff0c;它是1&＃xff0c;而C是分类中的类数。


&＃xff08;提出SEPC的原因&＃xff0c;可不说&＃xff09;PConv对于不同的level都使用固定的卷积核大小&＃xff0c;在高斯金字塔上(模糊程度不严重且高斯核接近特征图缩放比例)&＃xff0c;PConv能够提取尺度不变的特征。
&＃xff08;提出SEPC的原因&＃xff0c;可不说&＃xff09;但实际中&＃xff0c;由于多层卷积和非线性操作的存在&＃xff0c;特征金字塔的模糊程度比高斯金字塔要严重得多
(特征的缩放程度可能跟特征图大小不成比例)&＃xff0c;使用固定的卷积核大小很难提取尺度不变的特征。高斯模糊是一种图像滤波器&＃xff0c;它使用正态分布(高斯函数)计算模糊模板&＃xff0c;并使用该模板与原图像做卷积运算&＃xff0c;达到模糊图像的目的

SEPC分为两个版本&＃xff0c;SEPC-full对P11页图b的Combined head和Extra head加入SEPC&＃xff0c;而SEPC-lite则仅对Extra head加入SEPC。我们做了详尽的消融实验&＃xff0c;以确保我们每个模块的有效性.我们选取了FSAF&＃xff0c;RetinaNet&＃xff0c;FreeAnchor三个有代表性的model验证我们的有效性。如表中所示
可以看到&＃xff0c;我们提出的模块在三个model上均有稳定的提升&＃xff0c;并且性能提升相比flops与forward速度的增加极具性价比&＃xff0c;值得注意的是&＃xff0c;虽然我们使用了Dconv&＃xff0c;但是性能的提升不仅仅是Dconv带来的&＃xff0c;相比head结构全部更换为Dconv&＃xff0c;我们的SEPC在速度与性能上都体现出了绝对的优势。
Dconv&＃xff1a;可变形卷积

同时我们选取了FreeAnchor为基础与当前SOTA检测器进行了比较。如表中所示
我们SEPC在mAP45左右的baseline上依然有接近3mAP的提升&＃xff0c;
我们在甚至在单尺度测试的条件下得到了一个mAP为50.1的单阶段检测器。

FPN详解