【阅读笔记】《MaskScoringRCNN》（MaskRCNN）

本文记录了博主阅读论文《Mask Scoring R-CNN》的笔记&＃xff0c;代码。更新于2019.04.19。

用于实例分割。

主要贡献&＃xff1a;

• 文中提出的Mask Scoring R-CNN是首个解决scoring instance segmentation hypothesis问题的架构&＃xff0c;提供了实例分割提升精度的新方向。考虑到instance mask的完整性&＃xff0c;score of instance mask在高分类score而mask不好的情况下可以被惩罚。
• MaskIoU head简单有效。在COCO数据库下&＃xff0c;使用MS R-CNN可以提升AP约1.5%。

Instance Segmentation

Detection Score Correction

Motivation

在Mask R-CNN中&＃xff0c;score of a detection&＃xff08;也就是实例分割&＃xff09;是由分类score中最大值决定的。但是由于背景混乱、遮挡等问题&＃xff0c;很有可能分类score很高但是mask效果很差&＃xff0c;如下图所示&＃xff1a;

下图比较中使用的是Mask R-CNN with ResNet-18 FPN&＃xff0c;COCO 2017 验证集。比较显示&＃xff0c;classification score和MaskIoU在Mask R-CNN中没有多少相关性。

Mask scoring in Mask R-CNN

Mask Scoring R-CNN在概念上还是相对简单的&＃xff1a;即带有MaskIoU Head的Mask R-CNN&＃xff0c;其输入为实例特征和predicted mask&＃xff0c;随后估计输入mask和真值mask之间的IoU&＃xff0c;如下图所示。

Mask R-CNN&＃xff1a; 先简单回顾一下Mask R-CNN。在Faster R-CNN之后&＃xff0c;Mask R-CNN包括两个阶段。第一阶段是Region Proposal Network&＃xff08;RPN&＃xff09;&＃xff0c;其提供无类别的candidate object bounding boxes&＃xff1b;第二阶段称为R-CNN阶段&＃xff0c;其通过RoIAlign提取每个proposal的特征&＃xff0c;并进行proposal分类、bounding box回归和mask估计。

Mask scoring&＃xff1a; 定义smask\text s_{\text{mask}}smask​为score of the predicted mask&＃xff0c;其概念与predicted mask和对应的ground truth mask之间的像素级IoU等同&＃xff0c;前文称作MaskIoU。因为一个mask只能属于一个类别&＃xff0c;因此smask\text s_{\text{mask}}smask​应该对于真值类别只包含正数&＃xff0c;其他类别全是0。这就要求mask score应该在这两项任务中都表现良好&＃xff1a;分类到正确类别&＃xff0c;将proposal的MaskIoU回归到前景目标类别。

只用一个目标函数来训练两个任务是很难的&＃xff0c;为了简化&＃xff0c;论文中将mask score learning task分解成mask classification和IoU regression&＃xff0c;用smask&＃61;scls⋅siou\text s_{\text {mask}}&＃61;\text s_{\text {cls}}\cdot\text s_{\text{iou}}smask​&＃61;scls​⋅siou​代表所有目标类别。scls\text s_{\text {cls}}scls​专注解决proposal属于哪个类别&＃xff0c;siou\text s_{\text{iou}}siou​解决MaskIoU的回归。

对于scls\text s_{\text {cls}}scls​&＃xff0c;在R-CNN阶段已经解决了分类问题&＃xff0c;因此可以直接用对应的classification score。回归siou\text s_{\text{iou}}siou​是这篇论文的目标。

MaskIoU head&＃xff1a; MaskIoU head旨在回归predicted mask和其ground truth mask之间的IoU&＃xff0c;其输入是RoIAlign层的级联特征和predicted mask。在级联的时候&＃xff0c;用的是尺寸为2步长为2的max pooling使得predicted mask与RoIAlign特征尺寸相同。回归时&＃xff0c;只处理真值类别&＃xff08;或测试时处理估计类别&＃xff09;而非全部类别。MaskIoU head包括4层卷积层和3层全连接层&＃xff0c;其中卷积层遵从Mask head&＃xff0c;尺寸为3&＃xff0c;通道数为256&＃xff1b;全连接层遵循RCNN head&＃xff0c;前两层神经元个数为1024&＃xff0c;最后一层为类别数。

训练&＃xff1a; 训练MaskIoU head时&＃xff0c;用RPN proposals作为训练样本。训练样本要求proposal box和对应的ground truth box之间有大于0.5的IoU&＃xff08;跟训练Mask R-CNN的Mask head时相同&＃xff09;。为了给每个样本生成regression target&＃xff0c;首先获取目标类别的predicted mask&＃xff0c;再用阈值0.5将其二值化。

随后&＃xff0c;用binary mask和对应的ground truth计算MaskIoU作为MaskIoU target。回归MaskIoU用的是l2\mathscr{l}_2l2​损失&＃xff0c;损失权重为1。提出的MaskIoU head整合在Mask R-CNN中&＃xff0c;整个网络端到端训练。

推断&＃xff08;inference&＃xff09;&＃xff1a; 在推理阶段&＃xff0c;只应用MaskIoU head校正R-CNN生成的classification score。具体来讲&＃xff0c;假设Mask R-CNN的R-CNN阶段输出N个bounding box&＃xff0c;选中其中应用SoftNMS之后的前k&＃xff08;k&＃61;100&＃xff09;个scoring box。之后&＃xff0c;这k个box被送入Mask head用于生成multi-class mask。这是标准的Mask R-CNN推理过程。论文中也遵循这个过程&＃xff0c;并送入k个target mask用于估计MaskIoU。估计得到的MaskIoU乘上classification score&＃xff0c;得到矫正后的mask score作为最终的mask confidence。

所有实验都在COCO数据集上完成&＃xff0c;有80个目标类别。用115k张训练&＃xff0c;5k张验证&＃xff0c;20k张测试。度量&＃xff1a;

Implementation Details

ResNet-18 FPN&＃xff08;用于对比&＃xff09;&＃xff1a;输入尺寸600x&＃xff08;<1000&＃xff09;
ResNEt-50/101&＃xff1a;输入尺寸800x1333

所有算法训练18个epoch&＃xff0c;14个epoch和17个epoch后学习率下降率为0.1。

Quantitative Results

Ablation Study

所有剥离实验用的都是ResNet-18 FPN结构。

The design choices of MaskIoU head input&＃xff1a; 首先研究了设计的选择&＃xff0c;即从mask head和RoI特征到predicted mask score map&＃xff08;28x28xC&＃xff09;的融合。下图是几种选择&＃xff1a;

解释如下&＃xff1a;

1. Target mask concatenates RoI feature&＃xff1a;选择目标类别的score map&＃xff0c;进行max pool之后与RoI特征级联&＃xff1b;
2. Target mas multiplies RoI feature&＃xff1a;选择目标类别的score map&＃xff0c;进行max pool之后与RoI特征相乘&＃xff1b;
3. All masks concatenates RoI feature&＃xff1a;所有C个类别的mask score map都进行max pool&＃xff0c;之后与RoI特征级联&＃xff1b;
4. Target mask concatenates High-resolution RoI feature&＃xff1a;选择目标类别的score map再与28x28的RoI特征级联。

下表为结果&＃xff1a;

The choices of the training target&＃xff1a;

下表为结果&＃xff1a;

如何选取训练样本&＃xff1a;
MaskIoU不超过0.5。给定阈值$\tau$&＃xff0c;有如下结果&＃xff1a;

Discussion

更多内容&＃xff0c;欢迎加入星球讨论。