【论文笔记】DeepExtremeCut

主页&＃xff1a;http://people.ee.ethz.ch/~cvlsegmentation/dextr/
论文地址&＃xff1a;https://arxiv.org/abs/1711.09081
代码&＃xff1a;https://github.com/scaelles/DEXTR-PyTorch/

概览

Deep Extreme Cut 基于《Extreme clicking for efficient object annotation》&＃xff0c;这篇论文是用户通过 extreme clicking 做物体标注任务&＃xff0c;也就是画一个物体的 bounding box。

Deep Extreme Cut 将 extreme points 作为 guiding signal 输入到网络中去&＃xff1a;

• 为 extreme points 形成的 bounding box 区域内创建 heatmap
• 2D Gaussian
• 将 heatmap 与原 RGB 图像进行连接&＃xff0c;形成一个 4 通道的 CNN

主要方法&＃xff1a;

使用目标物体的 extreme points&＃xff08;极限点&＃xff09;&＃xff0c;即最左、最右、最上、最下方的四个点作为输入&＃xff0c;以此获得图像分割结果。

网络结构&＃xff1a;

backbone&＃xff1a;ResNet-101

去掉了全连接层和最后两个 stage 的最大池化层&＃xff0c;这样做是为了保持图像分辨率&＃xff08;和 FCN 一样&＃xff09;&＃xff0c;在最后两个 stage 用了 atrous convolution&＃xff0c;用于保持相同大小的 receptive field&＃xff0c;在最后&＃xff0c;使用 pyramid scene parsing module&＃xff0c;向最终的 feature map 中添加 global context。

预训练&＃xff1a;ImageNet 数据集

方法细节

画 bounding box 的目的&＃xff1a; 是为了获得 ROI 区域&＃xff0c;排除其他信息对分割任务的干扰。所以这里就用 extreme points 获得目标物体的 bounding box&＃xff0c;然后根据 bbox 对原图进行 crop

另外&＃xff0c;又为了包含目标物体的上下文信息&＃xff0c;所以 crop 并非严格按照 extreme points 得到的 bounding box 进行 crop&＃xff0c;而是将这个 tight bounding box 稍微向外扩大几个像素

所以在数据的预处理阶段&＃xff0c;就是进行 extreme clicking&＃xff0c;然后根据这些 extreme points 得到一个 bounding box&＃xff0c;最后输入网络的是 crop 后的原 RGB 图像 &＃43; extreme points

crop 策略&＃xff1a;

使用 Obejct-centered crop&＃xff0c;也就是以物体为中心的 crop 方式&＃xff0c;这样得到的结果中&＃xff0c;属于前景的 sample 应该要多于属于背景的 sample。

DEXTR使用场景

1&＃xff09;Class-agnostic Instance Segmentation&＃xff08;未知类别的实例分割&＃xff09;

实验数据集&＃xff1a;PASCALA 和 Grabcut

2&＃xff09;Annotation&＃xff08;标注任务&＃xff09;

3&＃xff09;Video Object Segmentation&＃xff08;视频目标分割&＃xff09;

实验数据集&＃xff1a;DAVIS-2016 和 DAVIS-2017

4&＃xff09;Interactive Object Segmentation&＃xff08;交互式分割&＃xff09;

用户给出 4 个 extreme points&＃xff0c;得到一个自动的分割结果&＃xff0c;如果不满意这个初始的分割结果&＃xff0c;可以在误分割的区域上再额外给出一个点&＃xff0c;论文中建议这个 extra point 最好也在目标物体的 boundary 上

实验部分

数据集&＃xff1a; PASCAL&＃xff0c;COCO&＃xff0c;DAVIS-2016&＃xff0c;DAVIS-2017&＃xff0c;Grabcut

这里作者给出了一系列 ablation experiment&＃xff08;消融实验&＃xff09;&＃xff0c;消融实验实际上就是在证明提出的某个方法 “确实有效果”&＃xff0c;即对比的就是没有加某个方法前和加了某个方法之后性能是否有提升、提升了多少。&＃xff08;也不知道为啥叫的这么唬人&＃xff09;

1&＃xff09;网络结构

采用的结构&＃xff1a;ResNet-101
对比结构&＃xff1a;Deeplab-v2&＃xff0c;Mask R-CNN

2&＃xff09;bounding box 和 extreme points

对比 Deeplab-v2 使用 bounding box 做分割任务和本文用 extreme points 做分割任务&＃xff0c;后者提升了 3.1%

3&＃xff09;loss function

对比两种损失函数&＃xff0c;standard cross-entropy 和 class-balanced version

结论&＃xff1a; balanced version 更好&＃xff0c;提升性能 3.3%

4&＃xff09;Full image 和 crops

对比 CNN 是输入整张图像好还是输入 crop 后的图像好

结论&＃xff1a; 输入 crop 后的图像提升性能 7.9%&＃xff0c;而且对小物体分割的提升更大

原因&＃xff1a; cropping 排除了无关信息的干扰

5&＃xff09;Atrous spatial pyramid(ASPP) 和 pyramid scene parsing(PSP) module

结论&＃xff1a; PSP module 提升 2.3%

6&＃xff09;Manual extreme points 和 simulated extreme points

比较人工点击 extreme points 和模拟生成的 extreme points 得到的分割结果有什么不同

结论&＃xff1a; 分割结果差不多

7&＃xff09;Distance-map 和 fixed points

消融实验总结&＃xff1a;