实例分割_实例分割之SOLO:SegmentingObjectsbyLocations

论文地址&＃xff1a;https://arxiv.org/pdf/1912.04488.pdf

代码&＃xff1a;https://github.com/qiuhuan/SOLO

实例分割主要有两大类方法&＃xff1a;

• 一种是“detect-then-segment”&＃xff0c;即先检测bbox&＃xff0c;再分割目标&＃xff0c;如Mask R-CNN。这类方法比较依赖于目标框的检测精度&＃xff0c;当目标不适合用矩形框标记时&＃xff0c;这类方法将不再适用&＃xff1b;

• 另一种是为每个像素学习一个嵌入向量&＃xff0c;再通过后处理(如聚类算法)得到实例。

与Mask R-CNN这类实例分割相比&＃xff0c;SOLO不必检测目标框&＃xff0c;可直接得到实例的像素分割结果。若不能简单地用矩形框标记目标&＃xff0c;那么采用Mask R-CNN这类先检测矩形框&＃xff0c;再分割目标的方法&＃xff0c;显然是不合适的。此时&＃xff0c;SOLO不失为一种可尝试的方案。

SOLO思想&＃xff1a;

• 将图片分为S*S个格子&＃xff0c;每个格子负责预测落在该格子中的目标的实例掩码(Mask Branch)和类别(Category Branch)。

• 其中&＃xff0c;每个实例的掩码为基于全图大小的语义分割图&＃xff0c;采用二分类方式&＃xff0c;分为前景和背景。

Loss Function

• 对于类别分支Category Branch&＃xff0c;采用Focal Loss。

• 对于实例掩码分支Mask Branch&＃xff0c;采用dice loss。

但是&＃xff0c;SOLO在预测实例掩码时&＃xff0c;有S*S个分割图&＃xff0c;而其中有很多是冗余的(并不是每个格子都有目标&＃xff0c;那么必然有的分割图是无用的&＃xff0c;多余的)。为节省资源&＃xff0c;作者将分割图分解为X方向的分割图和Y方向的分割图&＃xff0c;叫Decoupled head。如下图所示。

对于最终的实例分割mask&＃xff0c;为Y-branch与X-branch掩码对应位置相乘后的结果。假如格子坐标为(i&＃xff0c;j)&＃xff0c;那么&＃xff0c;最终的Mask为Y-branch上第i个掩码与X-branch上第j个掩码对应位置相乘的结果。

Decoupled head在节省计算资源的同时&＃xff0c;精度并未降低。

实验