论文提出基于轮廓的实例分割方法Deep snake&＃xff0c;轮廓调整是个很不错的方向&＃xff0c;引入循环卷积&＃xff0c;不仅提升了性能还减少了计算量&＃xff0c;保持了实时性&＃xff0c;但是Deep snake的大体结构不够优雅&＃xff0c;应该还有一些工作可以补&＃xff0c;推荐大家阅读  

来源&＃xff1a;晓飞的算法工程笔记 公众号

论文: Deep Snake for Real-Time Instance Segmentation

• 论文地址&＃xff1a;https://arxiv.org/abs/2001.01629
• 论文代码&＃xff1a;https://github.com/zju3dv/snake/

Introduction

---

  实例分割是许多计算机视觉任务中的重要手段&＃xff0c;目前大多数的算法都采用在给定的bbox中进行pixel-wise分割的方法。受snake算法和Curve-GCN的启发&＃xff0c;论文采用基于轮廓的逐步调整策略&＃xff0c;提出了Deep snake算法进行实时实例分割&＃xff0c;该算法将初始轮廓逐渐优化为目标的边界&＃xff0c;如图1所示&＃xff0c;达到很好的性能且依然保持很高的实时性(32.3fps)。   论文的主要贡献如下&＃xff1a;

• 提出基于学习的snake算法用于实时实例分割&＃xff0c;对初始轮廓调整至目标边界&＃xff0c;并且引入循环卷积(circular convolution)进行轮廓特征的学习。
• 提出two-stage流程进行实例分割&＃xff0c;先初始化轮廓再调整轮廓&＃xff0c;两个步骤均可以用于修正初始定位的误差。
• Deep snake能在多个实例分割数据集上达到SOTA&＃xff0c;对于512的图片输入能达到32.3fps。

Proposed approach

---

  Deep snake方法将初始轮廓逐渐优化为目标的边界来进行目标分割&＃xff0c;即将物体轮廓作为输入&＃xff0c;基于CNN主干特征预测每个顶点的偏移量。为了充分利用轮廓拓扑结构&＃xff0c;论文使用循环卷积(circular convolution)进行顶点特征的学习&＃xff0c;有助于学习轮廓的优化&＃xff0c;并基于deep snake提出了一套实时实例分割的流程。

Learning-based snake algorithm

  传统的snake算法将顶点的坐标作为变量来优化人工设计的能量函数(energy function)&＃xff0c;通过最小化能量函数来拟合目标边界。由于能量函数通常是非凸的&＃xff0c;而且需要基于低维图像特征进行人工设计&＃xff0c;通常会陷于局部最优解。   而deep snake则是直接从数据学习如何微调轮廓&＃xff0c;对于个顶点&＃xff0c;首先构造每个顶点的特征向量&＃xff0c;顶点的特征为对应的网络特征和顶点坐标的concate&＃xff0c;其中为主干网络输出的特征图&＃xff0c;为顶点处的双线性差值输出&＃xff0c;附加的用于描述顶点间的位置关系&＃xff0c;是平移不变的&＃xff0c;由每个顶点坐标减去轮廓中所有顶点的最小和得到相对坐标。

  在获得顶点特征后&＃xff0c;需要对轮廓特征进一步学习&＃xff0c;顶点的特征可以视作1-D离散信号&＃xff0c;然后使用标准卷积对顶点逐个进行处理&＃xff0c;但这样会破坏轮廓的拓扑结构。因此&＃xff0c;将顶点特征定义为公式1的周期信号&＃xff0c;然后使用公式2的循环卷积进行特征学习&＃xff0c;为可学习的卷积核&＃xff0c;为标准卷积操作。

  循环卷积操作如图2所示&＃xff0c;与标准的卷积操作类似&＃xff0c;可以很简单地集成到目前的网络中。在特征学习后&＃xff0c;对每个顶点使用3个卷积层进行偏移的输出&＃xff0c;实验中循环卷积的核大小固定为9。

  图a展示了deep snake的细节结构&＃xff0c;输入为初始轮廓&＃xff0c;主干包含8个"CirConv-Bn-ReLU"层&＃xff0c;每层都使用残差连接&＃xff0c;Fusion block用于融合主干网络中的多尺度轮廓特征&＃xff0c;Prediction head使用3个卷积输出每个顶点的偏移。

Deep snake for instance segmentation

  将deep snake加入到目标检测模型中进行实例分割&＃xff0c;流程如图b所示。模型首先产生目标框&＃xff0c;将其构建成菱形框&＃xff0c;然后使用deep snake算法将菱形顶点调整为目标极点&＃xff0c;构造八边形轮廓&＃xff0c;最后进行迭代式deep snake轮廓调整得到目标形状

• Initial contour proposal

  论文采用ExtreNet的极点思想&＃xff0c;能够很好地包围物体。在得到矩形框后&＃xff0c;获取4条边的中心点连成菱形轮廓&＃xff0c;使用deep snake对菱形轮廓调整成极点&＃xff0c;然后每个极点放置一条边&＃xff0c;连接边构造多边形&＃xff0c;每个极点的边为其对应的bbox边的&＃xff0c;若边超过原bbox范围会被截断。在实际使用时&＃xff0c;菱形轮廓输入deep snake前会平均上采样到40个点(有助于deep snake计算)&＃xff0c;但损失函数计算只考虑的对应偏移

• Contour deformation

  对八边形平均采样个点&＃xff0c;将上极点作为起点&＃xff0c;同样地&＃xff0c;GT轮廓对物体边缘平均采样个点&＃xff0c;将靠近的点作为起点&＃xff0c;一般为128。如果顶点离GT很远&＃xff0c;很难直接正确调整&＃xff0c;于是采用迭代式地进行deep snake调整&＃xff0c;实验采用的迭代次数为3次。   轮廓是目标空间位置的一种扩展表示方法&＃xff0c;通过调整轮廓到物体边缘能够帮助解决detector的定位误差

• Handling multi-component objects

  由于遮挡&＃xff0c;一个实例可能包含多个组件&＃xff0c;然而一个轮廓只能勾勒出bbox内的一个组件。为了解决这个问题&＃xff0c;使用RoIAlign来提取初始bbox特征&＃xff0c;然后配合detector来检测组件的box&＃xff0c;再对每个box进行上述的轮廓调整&＃xff0c;最后结合初始bbox内相同类别的组件输出最终的物体形状。

Implementation details

---

Training strategy

  极点的损失函数如公式3&＃xff0c;为预测的极点。

  迭代轮廓调整的损失函数如公式4&＃xff0c;为调整后的顶点&＃xff0c;为对应的GT边缘点。对于检测部分&＃xff0c;则采用跟原检测函数一样的损失函数。

Detector

  使用CenterNet作为检测器&＃xff0c;对于物体检测&＃xff0c;使用跟原来一样的设定输出类别相关的box&＃xff0c;而对于组件检测&＃xff0c;则使用类不可知的CenterNet&＃xff0c;对于的特征图&＃xff0c;输出的中心点heatmap和的box大小特征图。

Experiments

---

Ablation studies

  Baseline将轮廓视为图结构&＃xff0c;然后使用GCN进行轮廓调整&＃xff0c;初始轮廓为围绕bbox的椭圆&＃xff0c;Arichitecture加入Fusion block&＃xff0c;Initial proposal加入论文的轮廓初始化方法&＃xff0c;最后是将GCN修改为循环卷积&＃xff0c;可以看到每个步骤都对AP有提升。

  论文也对比了卷积类型以及迭代次数对结构的影响&＃xff0c;可以看到循环卷积的结果比GCN要好。

Comparison with the state-of-the-art methods

  论文在不同的数据集上都取得了不错的效果&＃xff0c;作者在每个数据集上的训练参数都有点不一样&＃xff0c;具体参数可以看看原文

Running time

Conclusion

---

  论文提出基于轮廓的实例分割方法Deep snake&＃xff0c;轮廓调整是个很不错的方向&＃xff0c;引入循环卷积&＃xff0c;不仅提升了性能还减少了计算量&＃xff0c;保持了实时性&＃xff0c;但是Deep snake的大体结构不够优雅&＃xff0c;应该还有一些工作可以补&＃xff0c;推荐大家阅读

参考内容

• Snakes: Active Contour Models - http://www.cs.ait.ac.th/~mdailey/cvreadings/Kass-Snakes.pdf
• Fast Interactive Object Annotation with Curve-GCN - https://arxiv.org/pdf/1903.06874.pdf

如果本文对你有帮助&＃xff0c;麻烦点个赞或在看呗&＃xff5e; 更多内容请关注 微信公众号【晓飞的算法工程笔记】