物体分割DeepWatershedTransformforInstanceSegmentation

Deep Watershed Transform for Instance Segmentation
CVPR2017
https://github.com/min2209/dwt

本文将传统的 watershed transform 分割算法 结合 CNN网络 实现 物体分割

首先来回顾一下 instance level segmentation 都有哪些方法&＃xff1a;
1&＃xff09;Proposal based: 基于候选区域提取的方法&＃xff0c;首先提取物体的候选区域&＃xff0c;然后再对候选区域进行细化分割 refinement
2&＃xff09;Deep structured models: CNN&＃43; conditional random field (CRF)
3&＃xff09;Template matching: CNN&＃43; template matching scheme
4) Recurrent Networks: CNN&＃43; recurrent neural network (RNN) , ConvLSTM
5) CNN[15]: 只用CNN来完成
6&＃xff09;Proposal &＃43; recursion [14]: CNN 候选区域&＃43; recursion

3 A Review on the Watershed Transform
首先来看看分水岭算法的大致思路&＃xff1a;我们可以将一幅灰度图像看作一个地形图 topographic surface&＃xff0c;我们从地形图的最低点 minima 开始注水&＃xff0c;同时我们建造谁把barriers 用于防止两个不同注水的的水融合到一起去。这样我们就可以将地形图分割为若干区域&＃xff0c;这里每个区域我们称之为 catchment basins&＃xff0c;我们建造的水坝 barriers or watershed lines 表示两物体的边界线。

分水岭算法一个问题就是容易过分割。这里我们使用 CNN 网络来解决这个过分割问题。

4 Deep Watershed Tranform
这里我们希望使用 CNN网络来学习预测 一个 energy landscape&＃xff0c;其每个 basin 对应一个物体&＃xff0c;如上图的下半部分所示。但是从头开始学习这个 energy landscape 很难。这里我们定义了一个中间任务&＃xff0c;就是我们学习 分水岭能量图的下降方向 direction of descent of the watershed energy&＃xff0c;然后将这个输入到另一个网络用于学习最终的能量图。我们可以将这个中间结果理解为 学习每个目标内的点到其边界的距离&＃xff0c;learning to perform the distance transform of each point within an object instance to the instance’s boundary

我们的整体网络结果如下图所示&＃xff1a;

4.1. Direction Network (DN)
这里的输入只关注物体区域&＃xff0c; the original RGB image gated by semantic segmentation&＃xff08;PSPNet [34]&＃xff09;&＃xff0c;非物体区域清零。input image is augmented by adding the semantic segmentation as a fourth channel

这一步主要用于 estimate the direction of descent of the energy at each pixel&＃xff0c;对应 Figure 4 中的 f

4.2. Watershed Transform Network (WTN)
基于分水岭能量图的下降方向图&＃xff0c;我们来 predict a modified watershed transform energy
对应 Figure 4 中的 g

4.3. Network Training
首先预训练 DN and WTN networks
分别定义了几个损失函数&＃xff1a;
Direction Network pre-training: mean squared error in the angular domain

Watershed Network pre-training: modified cross-entropy loss

End-to-end fine-tuning:

4.4. Energy Cut and Instance Extraction
得到最终的分割结果

5 Experimental Evaluation
Cityscapes