[PaperReading3d]AFDetV2:RealTimeAnchorFreeSingleStage3DDetectionwithIoUAwareness

Paper: https://arxiv.org/abs/2107.14342

TL;DR

地平线在Waymo自动驾驶挑战赛2020中方法(AFDet)的升级版-AFDetv2。模型是one-stage,anchor-free的&＃xff0c;在保证速度的同时有一个较好的精度。本文方法集成了较多的东西&＃xff0c;比较工程&＃xff0c;在模型、训练、硬件方面都做了优化。

Dataset/Algorithm/Model/Experiment Detail

模型结构如下图&＃xff1a;

首先点云voxelization&＃xff0c;这一步文章利用了GPU进行优化&＃xff0c;提高了速度。3D backbone部分仍旧使用的是3D稀疏卷积&＃xff0c;但是本文减少了前端残差块的数量&&降低了Z方向上的采样卷积数量&＃xff0c;在速度和精度上有一个取舍平衡。

RPN

RPN部分采用了自校准卷积模块self-calibrated convolution (SC-Conv)&＃xff0c;具体结构如下图。该模块能扩大感受野&＃xff0c;同时在空域和特征通道上引入自注意力机制。SC-Conv模块提高了模型精度&＃xff0c;没有增加计算量。

Anchor-free Head

共有5&＃43;2个head,跟之前的AFDet相比增加了两个额外分支&＃xff0c;IoU branch和辅助分支Keypoints预测。
IoU branch&＃xff0c;2D检测已经很成熟了&＃xff0c;3D 检测也有很多应用了&＃xff0c;主要还是为了解决分类置信度和box定位精度不匹配的问题。辅助分支关键点预测&＃xff0c;能预测物体框的角点&＃xff0c;可以更好的帮助网络学习物体的边缘信息。雷达反射回来的点往往在物体表面&＃xff0c;中心不在可见点云中&＃xff0c;增加3D框角点&＃xff0c;能引导贴合数据&＃xff0c;增加定位精度。Heatmap分支&＃xff0c;增大了高斯核的半径。loss设置&＃xff1a;

• focal loss: heatmap预测&＃xff0c;关键点预测
• L1 loss: local offset head, z-axis location head, 3D object size head, orientation regression
• Smooth L1 loss: IoU

实验

数据增强&＃xff1a; 随机选择标注样本&＃xff0c;随机反转x,y坐标&＃xff0c; 整体旋转缩放等&＃xff1b;
SWA: Stochastic Weights Averaging 随机平均权重

Waymo结果&＃xff1a;

Thoughts

本文综合使用了很多之前的工作&＃xff08;包括2D,3D)&＃xff0c;也提出了很多新的想法&＃xff0c;体现了很强的工程性&＃xff0c;所以能在速度和精度方面都有一个很好表现。