论文速读系列五：SASA、BtcDet、CGSSD、Multiviewframework、Ret3D

以下内容是对专栏&＃xff1a;https://www.zhihu.com/column/c_1370398704629858304的笔记记录

paper&＃xff1a;《SASA: Semantics-Augmented Set Abstraction for Point-based 3D Object Detection》&＃xff08;2022AAAI&＃xff09;
结构图&＃xff1a;

动机&＃xff1a;
一般而言&＃xff0c;SA模块先选择keypoints&＃xff0c;再根据每个keypoints的周围点编码context representations。然而&＃xff0c;在选择keypoints时&＃xff0c;现有的采样策略通常以距离作为标准&＃xff08;如D-FPS、F-FPS&＃xff09;&＃xff0c;来选择较远的点来尽可能覆盖整个场景&＃xff0c;但是这样会导致keypoints包含过多的背景点&＃xff0c;从而导致pedestrian等点云数较少的object漏检。
通过引入point-wise语义信息&＃xff0c;避免SA模块选择较多的背景点&＃xff0c;提出了S-FPS采样策略。

思路&＃xff1a;
1&＃xff09;基于已有的backbone&＃xff0c;得到输入点云坐标X和特征F&＃xff1b;
2&＃xff09;将特征F输入分割模块&＃xff0c;得到每个点云的前景分割得分P&＃xff1b;
3&＃xff09;利用点云坐标X和分割得分P&＃xff0c;利用S-FPS采样K个keypoints。这里的是计算公式为&＃xff1a;





d


i
^



&＃61;



p i γ



⋅



d i



\hat{d_i} &＃61; p_i^γ·d_i

di​^​&＃61;piγ​⋅di​

4&＃xff09;对于每一个关键点&＃xff0c;利用PointNet&＃43;&＃43;提取高维特征&＃xff0c;再将keypoints坐标和高维特征输入后续检测头&＃xff0c;进行检测等任务。

具体的算法流程如下所示&＃xff1a;

相比与D-FPS&＃xff0c;这里的S-FPS其实本质是就是对距离进行分割置信度加权计算。将S-FPS移植在One-Stage上的思路大题与3D-SSD思路一致的&＃xff0c;也是同时利用了两个采用方法。只不过是将F-FPS替换成了这里的S-FPS。对比3DSSD&＃xff0c;将F-FPS换成S-FPS&＃xff0c;在kitti数据集的moderate上获得2.3%的提升。

paper&＃xff1a;《Behind the Curtain: Learning Occluded Shapes for 3D Object Detection》&＃xff08;2022AAAI&＃xff09;
结构图&＃xff1a;

动机&＃xff1a;
点云检测中存在遮挡问题&＃xff0c;大致分为&＃xff1a;1&＃xff09;外部遮挡&＃xff1b;2&＃xff09;信号缺失&＃xff1b;3&＃xff09;自我遮挡。遮挡问题会影响检测精度&＃xff0c;为此作者希望通过对目标补全缺失形状信息来解决遮挡问题。

思路&＃xff1a;预测RoI的形状占有率&＃xff08;shape occupancy OS &＃xff09;&＃xff0c;将其整合到点云特征中再进行目标检测。
1&＃xff09;BtcDet 首先确定遮挡区域 R_{OC} 和信号缺失区域R_{SM} &＃xff0c;再通过shape occupancy 网络Ω 估计RoI的形状占有率 P(O_S) &＃xff1b;
2&＃xff09;BtcDet 再通过backbone提取点云特征&＃xff0c;然后将上述估计的形状占有率 P(O_S) 与点云特征相连&＃xff0c;送到RPN生成proposals&＃xff1b;
3&＃xff09;利用局部几何特征 f_{geo} 与grid特征进行refinement。

BtcDet在kitti的精度上还不错&＃xff0c;算是前列了。

paper&＃xff1a;《G-SSD: Corner Guided Single Stage 3D Object Detection from LiDAR Point Cloud》&＃xff08;2022ACM&＃xff09;
结构图&＃xff1a;

动机&＃xff1a;
对于3D目标检测任务&＃xff0c;目标中心点实际不存在点云数据&＃xff0c;因此通过中心点来预测必然存在损失。相反&＃xff0c;corner points 可以提供目标边界和尺寸信息。因此作者提出在BEV视图上&＃xff0c;基于corner point&＃xff08;包括可见点和不可见点&＃xff09;预测目标bbox。corner附近存在很多目标点云&＃xff0c;则corner的预测会相对准确。

思路&＃xff1a;
1&＃xff09;voxelization&＃xff08;将点云分到规则的3D体素中&＃xff09; —> 3D feature learning&＃xff08;3D稀疏卷积提取特征&＃xff09; —> 2D feature learning&＃xff08;将3D体素特征投影到BEV视图&＃xff0c;再进一步提取BEV特征&＃xff09;—> CGAM&＃xff08;利用辅助网络&＃xff0c;提取corner points特征&＃xff0c;cat到BEV特征上&＃xff09; —> detection head&＃xff08;分类和回归&＃xff09;
2&＃xff09;作者对corner point进一步细分&＃xff0c;包括&＃xff1a;visible corner&＃xff08;VC&＃xff09;、partly visible corner&＃xff08;PVCL、PVCW&＃xff09;和invisible corner&＃xff08;IVC&＃xff09;。首先&＃xff0c;建立一个局部坐标系&＃xff0c;将点云划分到4个象限&＃xff0c;计算每个象限内点云的数量&＃xff1b;对应点数最多的象限的点云为visible corner&＃xff1b;与visible corner相对应象限的点为invisible corner&＃xff1b;其他象限的点云为 partly visible corner。
3&＃xff09;这这里的CGAM模块会进行Classificatio loss以及Offset loss的计算。最终&＃xff0c;score map&＃xff08;来自CGAN的classification task&＃xff09;、regression map&＃xff08;来自CGAM的regression task&＃xff09;以及BEV特征相连&＃xff0c;一起送到detection head预测目标bbox。

paper长达27页&＃xff0c;对于各个部分的结构讲述得非常详细了。在ONCE/Waymo数据集上进行测试&＃xff0c;优于CenterPoint、PV-RCNN、PointPillars等算法。但是没有和一些新的SOTA算法比较。

paper&＃xff1a;《A VERSATILE MULTI-VIEW FRAMEWORK FOR LIDAR-BASED3D OBJECT DETECTION WITH GUIDANCE FROM PANOPTICSEGMENTATION》&＃xff08;2022CVPR&＃xff09;
结构图&＃xff1a;

动机&＃xff1a;
利用全景分割作为辅助任务来指导BEV检测网络学习。同时&＃xff0c;不同视角&＃xff08;view&＃xff09;均存在缺点&＃xff0c;这里设置多视图融合充分利用不同view信息的优势&＃xff0c;来提升检测性能。体现联合训练带来的性能提升。

思路&＃xff1a;
1&＃xff09;目标检测框架采用CenterPoint&＃xff0c;利用CPSeg框架进行全景分割与目标检测减小联合训练。将panoptic segmentation encoder的RV feature augment到检测网络的backbone中。
2&＃xff09;Attention-based RV-BEV Feature Weighting Module&＃xff1a;类似CABM的attention机制&＃xff0c;再通过channel attention &＃43; space attention的方式&＃xff0c;weighting不同feature的重要性&＃xff0c;融合RV-BEV feature。

实验思路&＃xff1a;
在某个算法baseline上测试&＃xff0c;再与一些经典sota进行对比。随后再移植到一些其他的检点算法上查看效果进行消融实验。

paper&＃xff1a;《Ret3D: Rethinking Object Relations for Efficient 3D Object Detection in Driving Scenes》&＃xff08;2022TPAMI&＃xff09;
结构图&＃xff1a;

动机&＃xff1a;
在2D目标检测中&＃xff0c;有很多工作证明过目标间的关联性可以提升检测性能。同理&＃xff0c;作者认为&＃xff0c;在3D目标检测中&＃xff0c;目标间的关联性也可以提升检测性能。然而&＃xff0c;现有的lidar-based检测器却鲜有探索目标间的关联性&＃xff0c;大多数检测器都是在特征层面隐式的研究目标关联性带来的影响。提出了作者研究2种关联性对3D目标检测的影响&＃xff1a;intra-frame relations 和 inter-frame relations。

• intra-frame&＃xff1a;对于同一帧点云&＃xff0c;利用不同目标间的空间距离&＃xff08;预测的目标位置信息&＃xff09;作为先验知识&＃xff0c;建立不同目标间的是sparse graph network&＃xff0c;以避免冗余的计算&＃xff1b;
• inter-frame&＃xff1a;对于不同帧点云的同一目标&＃xff0c;引入transformer&＃xff0c;通过tracked sequences&＃xff0c;建立相同目标、不同帧下特征间的关联性。

思路&＃xff1a;
1&＃xff09;One-stage base detector&＃xff1a;已有的一阶段3D检测器&＃xff08;SECOND和CenterPoint&＃xff09;。输入点云 P — 转化为voxel — 特征提取&＃xff0c;得到map-view features B — 得到初步检测结果 D &＃xff08;包括目标中心位置、尺寸、朝向和速度&＃xff0c;定义为basic features&＃xff09; &＃43; croped features O &＃xff08;依据目标位置从 B croped&＃xff09;&＃xff1b;
2&＃xff09;IntraRM&＃xff1a;根据目标位置和base detector提取的特征&＃xff0c;搭建sparse graph network&＃xff0c;建立同一帧内、不同目标间的关联性&＃xff0c;对特征进行refine&＃xff1b;
3&＃xff09;InterRM&＃xff1a;根据不同帧&＃xff08;之前的点云&＃xff09;得到的相同目标的特征&＃xff0c;利用transformer建立不同帧之间、相同目标的关联性&＃xff1b;

实验&＃xff1a;
Ret3D选用SECOND和centerpoint作为baseline&＃xff0c;在waymod数据集上进行训练和测试&＃xff0c;取得了极大的性能提升&＃xff08;6&＃43;%&＃xff09;

参考资料&＃xff1a;

1. 知乎专栏&＃xff1a;3D检测与分割