SDOD：基于depth的实时3D检测与分割

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

主要思想与创新点

大多数现有的实例分割方法只关注2D对象，不适用于三维场景，如自动驾驶。本文提出了一种将实例分割和目标检测分为两个并行分支的模型，将对象深度离散为“深度类别”（背景设置为0，对象设置为[1，K]），将实例分割任务转化为像素级分类任务。mask分支预测像素级的“深度类别”，3D分支预测实例级的“深度类别”，通过给每个实例分配具有相同“深度类别”的像素来生成实例掩模。另外，为了解决KITTI数据集（200为mask，7481为3D）中mask标签与3D标签不平衡的问题，本文采用其它实例分割方法生成的unreal mask来训练mask分支。

尽管使用了不真实的mask labels，但在KITTI数据集上的实验结果仍然达到了车辆实例分割的最佳性能。

本文创新点主要包括三点：

1. 通过离散深度将实例分割任务转化为语义分割任务

2. 提出一个结合3D检测和实例分割的网络，并将其设置为并行