KL损失的边界框回归

原文&＃xff1a;https://mp.weixin.qq.com/s?__biz&＃61;MzIwMTc4ODE0Mw&＃61;&＃61;&mid&＃61;2247496513&idx&＃61;2&sn&＃61;6fb827b5482920ef678478e9d6254ac4&chksm&＃61;96ea2cc1a19da5d762b087af2ae56d228cda4e6e496c887cffebe36a632de351ab7012ce376d&scene&＃61;21#wechat_redirect

本文提出了一种新的带有不确定性的边界框回归损失&＃xff0c;可用于学习更准确的目标定位。

论文名称&＃xff1a;Bounding Box Regression with Uncertainty for Accurate Object Detection

论文链接&＃xff1a;https://arxiv.org/abs/1809.08545

• 边界框参数化
• 使用 KL 损失的边界框回归
• 方差投票

• 实验

  消融实验
• 准确的目标检测
• 在 PASCAL VOC 2007 上的实验

导语

大规模目标检测数据集会尽可能清晰地定义基本 ground truth 边界框。但是&＃xff0c;可以观察到在标记边界框时仍会存在模糊不清的现象。

旷视研究院在本文中提出了一种全新的边界框回归损失&＃xff0c;可用于同时学习边界框变换和定位方差。据介绍&＃xff0c;这种新损失能极大地提升多种架构的定位准确度&＃xff0c;而且几乎不会有额外的计算成本。所学习到的定位方差也能帮助在非极大值抑制&＃xff08;NMS&＃xff09;期间融合相邻的边界框&＃xff0c;进一步提升定位的效果。

实验结果表明这种新方法比之前最佳的边界框优化方法更优。研究员已公开相关代码和模型&＃xff1a;github.com/yihui-he/KL-Loss

简介

ImageNet、MS-COCO 和 CrowdHuman 等大规模目标检测数据集都会尽可能清晰地定义基本 ground truth 边界框。

但是&＃xff0c;可以观察到一些案例中的基本 ground truth 边界框原本就是模糊的&＃xff0c;这会让边界框回归函数的学习更加困难。图 1 (a)(c) 是 MS-COCO 中两个边界框标记不准确的示例。当存在遮挡时&＃xff0c;边界框的范围会更不清晰&＃xff0c;比如来自 YouTube-BoundingBoxes 的图 1(d)。

▲ 图1&＃xff1a;边界框标注模糊的示例。(a,c) 是标注不准确&＃xff0c;(b) 是存在遮挡&＃xff0c;(d) 则是因为遮挡导致目标边界框本身并不清晰

目标检测是一种多任务学习问题&＃xff0c;包含目标定位和目标分类。当前最佳的目标检测器&＃xff08;比如 Faster RCNN、Cascade R-CNN 和 Mask R-CNN&＃xff09;都依靠边界框回归来定位目标。

但是&＃xff0c;传统的边界框回归损失&＃xff08;即平滑 L1 损失&＃xff09;没有考虑到基本 ground truth 边界框的模糊性。此外&＃xff0c;人们通常假设当分类分数较高时&＃xff0c;边界框回归是准确的&＃xff0c;但事实并非总是如此&＃xff0c;如图 2 所示。

▲ 图2&＃xff1a;VGG-16 Faster RCNN 在 MS-COCO 上的失败案例。(a) 两个边界框都不准确&＃xff1b;(b)有较高分类分数的边界框的左边界是不准确的。

针对这些问题&＃xff0c;本文提出了一种全新的边界框回归损失——KL 损失&＃xff0c;用于同时学习边界框回归和定位的不确定性。

具体来说&＃xff0c;为了获取边界框预测的不确定性&＃xff0c;研究员首先将边界框预测和基本 ground truth 边界框分别建模为高斯分布&＃xff08;Gaussian distribution&＃xff09;和狄拉克 δ 函数&＃xff08;Dirac delta function&＃xff09;。而新提出的边界框回归损失则被定义为预测分布和基本 ground truth 分布之间的 KL 距离。

使用 KL 损失进行学习有三大优势&＃xff1a; 

1. 可以成功获取数据集中的模糊性。让边界框回归器在模糊边界框上得到的损失更小。

2. 所学习到的方差可用于后处理阶段。研究者提出了方差投票&＃xff08;variance voting&＃xff09;方法&＃xff0c;可在非极大值抑制&＃xff08;NMS&＃xff09;期间使用由预测的方差加权的临近位置来投票得到边界框的位置。

3. 所学习到的概率分布是可解释的。因为其反映了边界框预测的不确定性&＃xff0c;所以可能有助于自动驾驶和机器人等下游应用。

方法

下面将具体介绍这种新的损失函数和方差投票方法。

边界框参数化 

在介绍新方法之前&＃xff0c;先看看边界框参数化。本文提出基于 Faster R-CNN 或 Mask R-CNN 等两级式目标检测器&＃xff08;如图 3&＃xff09;分别回归边界框的边界。研究者将边界框表示成了一个四维向量&＃xff0c;其中每一维都是框边界的位置。本文采用的参数化方案是 (x1, y1, x2, y2) 坐标&＃xff08;对角线&＃xff09;&＃xff0c;而非 R-CNN 使用的那种 (x, y, w, h) 坐标。

▲ 图3&＃xff1a;本文提出的用于估计定位置信度的网络架构。不同于两级式检测网络的标准 Fast R-CNN head&＃xff0c;这个架构是估计边界框位置以及标准差&＃xff0c;这会在新提出的 KL 损失得到考虑。

该网络的目标是在估计位置的同时估计定位置信度。形式上讲&＃xff0c;该网络预测的是一个概率分布&＃xff0c;而不只是边界框位置。尽管该分布可能更复杂&＃xff0c;可能是多变量高斯分布或高斯混合分布&＃xff0c;但该论文为了简单起见假设坐标是相互独立的且使用了单变量高斯分布。

另外&＃xff0c;基本 ground truth 边界框也被形式化了一个高斯分布——狄拉克 δ 函数。

使用KL损失的边界框回归 

在这里&＃xff0c;目标定位的目标是在样本上最小化预测分布和基本 ground truth 分布之间的 KL 距离。这个 KL 距离即为边界框回归的损失函数 L_reg。而分类损失则保持不变。

其中&＃xff0c;x_g 为基本 ground truth 边界框位置&＃xff0c;x_e 为估计的边界框位置&＃xff0c;D_KL 是 KL 距离&＃xff0c;σ 是标准差&＃xff0c;P_D 是基本 ground truth 狄拉克 δ 函数&＃xff0c;P_Θ 是预测的高斯分布&＃xff0c;Θ 是一组可学习的参数。

如图 4 所示&＃xff0c;当 x_e 不准确时&＃xff0c;网络会预测得到更大的方差 σ²&＃xff0c;使 L_reg 更低。

▲ 图4&＃xff1a;蓝色和灰色的高斯分布是估计结果。橙色表示狄拉克 δ 函数&＃xff0c;是基本 ground truth 边界框的分布。

方差投票 

在获得预测位置的方差后&＃xff0c;可根据所学习到的邻近边界框的方差直观地投票选择候选边界框位置。

如算法 1 所示&＃xff0c;其代码基于 NMS&＃xff0c;但有三行不一样。

本文是在标准 NMS 或 soft-NMS 的过程中投票所选框的位置。在选择了有最大分数的检测结果后&＃xff0c;再根据它及其邻近边界框计算它本身的新位置。本文受 soft-NMS 的启发为更近的以及有更低不确定性的边界框分配了更高的权重。

在投票期间权重更低的邻近边界框包含两类&＃xff1a;&＃xff08;1&＃xff09;高方差的边界框&＃xff1b;&＃xff08;2&＃xff09;与所选边界框的 IoU 较小的边界框。投票不涉及分类分数&＃xff0c;因为更低分数的框可能有更高的定位置信度。图 5 给出了方差投票的图示。使用方差投票可以避免图 2 中提到的那两类检测问题。

▲ 图5&＃xff1a;VGG-16 Faster R-CNN 在 MS-COCO 上的方差投票结果。每个边界框中的绿色文本框对应于预测的标准差 σ。

实验

旷视研究员基于 MS-COCO 和 PASCAL VOC 2007 数据集进行了实验。实验配置细节如下&＃xff1a;

• 使用了 4 个 GPU 

• 训练流程和批大小根据线性缩放规则进行调整 

• VGG-CNN-M-1024 和 VGG-16 的实现基于 Caffe&＃xff1b;ResNet-50 FPN 和 Mask R-CNN 的实现基于 Detectron

• VGG-16 Faster R-CNN 遵照 py-faster-rcnn&＃xff08;github.com/rbgirshick/py-faster-rcnn&＃xff09;&＃xff0c;在 train2014 上训练&＃xff0c;在 val2014 上测试&＃xff1b;其它目标检测网络的训练和测试分别在 train2017 和 val2017 上完成

• σ_t 设为 0.02 

• 除非另有说明&＃xff0c;否则所有超参数都是默认设置&＃xff08;github.com/facebookresearch/Detectron&＃xff09;

消融实验 

研究者基于 VGG-16 Faster R-CNN 评估了每个模块对整体结果的贡献&＃xff0c;包括 KL 损失、soft-NMS 和方差投票。表 1 给出了详细结果。可以看到&＃xff0c;每新增一项改进&＃xff0c;都能实现结果的进一步提升。

▲ 表1&＃xff1a;使用 VGG-16 Faster R-CNN 在 MS-COCO 数据集上检验每个模块的贡献

准确的目标检测 

表 4 总结了在 ResNet-50-FPN Mask R-CNN 上不同方法对准确目标检测的效果。使用 KL 损失&＃xff0c;网络可以在训练阶段学习调节模糊边界框的梯度。

▲ 表4&＃xff1a;在 MS-COCO 上&＃xff0c;不同方法对准确目标检测的效果 

旷视研究员还在特征金字塔网络&＃xff08;ResNet-50 FPN&＃xff09;上进行了评估&＃xff0c;如表 6 所示。

▲ 表6&＃xff1a;FPN ResNet-50 在 MS-COCO 上的表现对比

在PASCAL VOC 2007上的实验 

尽管本文是针对大规模目标检测提出了这一方法&＃xff0c;但也可将该方法用于更小型的数据集。研究者使用 Faster R-CNN 在 PASCAL VOC 2007 上进行了实验&＃xff0c;该数据集包含约 5000 张 voc_2007_trainval 图像和 5000 张 voc_2007_test 测试图像&＃xff0c;涉及 20 个目标类别。所测试的骨干网络为 VGG-CNN-M-1024 和 VGG-16。

结果见表 5&＃xff0c;研究员也额外比较了 soft-NMS 和二次无约束二元优化&＃xff08;QUBO&＃xff09;。QUBO 的结果包含 greedy 求解器和经典的 tabu 求解器&＃xff08;二者的惩罚项都经过了人工调整&＃xff0c;以得到更好的性能&＃xff09;。可以看到&＃xff0c;QUBO 比标准 NMS 要差得多&＃xff0c;尽管有研究认为其在行人检测上效果更好。研究者猜测 QUBO 更擅长检测行人的原因是此时边界框遮挡的情况更多。

▲ 表5&＃xff1a;不同方法在 PASCAL VOC 2007 上的结果

结论

大规模目标检测数据集中的不确定性可能有碍当前最佳目标检测器的表现。分类置信度并不总是与定位置信度强烈相关。这篇论文提出了一种全新的带有不确定性的边界框回归损失&＃xff0c;可用于学习更准确的目标定位。使用 KL 损失进行训练&＃xff0c;网络可学习预测每个坐标的定位方差。所得到的方差可实现方差投票&＃xff0c;从而优化所选择的边界框。实验结果也表明了这些新方法的有效性。