《RethinkingEfficientLaneDetectionviaCurveModeling》论文笔记

参考代码&＃xff1a;pytorch-auto-drive

介绍&＃xff1a;在这篇文章中对车道线建模表示进行了讨论和分析&＃xff0c;文中指出现有的车道线检测方法大体为&＃xff1a;segmentation-based、key_points-based、polynomial-based&＃xff0c;当然还有一些其它类型的车道线建模表述方法。在此基础上依靠文章对车道线使用曲线描述函数对车道线进行建模&＃xff0c;这样就省去了很多特征解码的相关问题&＃xff0c;只需要网络去预测对应曲线的参数就行了。但是在polynomial-based方法中其多项式回归对网络来讲是较难&＃xff0c;导致的结果就是其性能相比前面提到的两种类型有较大的差距。对此文章借鉴贝塞尔曲线的描述方式&＃xff0c;通过预测3阶贝塞尔曲线描述车道线&＃xff08;通过少量的控制点便可实现曲线描述&＃xff09;&＃xff0c;并且对特征图进行水平折半反转加可变形卷积的方式实现特征融合和表达能力提升&＃xff08;是来源于场景中车道线相对车中轴是对称分布的&＃xff09;。

上述提到的4中对与车道线的描述见下图所示&＃xff1a;

这里文章的车道线是通过预测贝塞尔曲线控制点的方式实现的&＃xff0c;然后对应文章的代码实现发现其在对应数据集下车道线的数量是固定的&＃xff0c;那么对于自动驾驶场景车道变化复杂的情况&＃xff0c;其适应性可能会存在一些问题&＃xff0c;这里表示存疑。

PS&＃xff1a;关于贝塞尔曲线的相关原理基础可以参考如下资料&＃xff1a;
贝塞尔曲线原理(简单阐述)

2.1 网络pipeline

文章的整体pipeline见下图所示&＃xff1a;

在上图中可以看到其包含了文章所提出的两个创新点&＃xff1a;feature flip特征融合与贝塞尔曲线拟合头。

2.2 Feature Flip

这部分是用于特征图感知能力增广的&＃xff0c;其是对特征图进行水平折半翻转&＃xff0c;之后通过可变形卷积实现特征的增强表达&＃xff0c;其网络结构见下图所示&＃xff1a;

该网络结构的思想是来自于对下图中实际数据的观察&＃xff0c;其思想是通过对称原理弥补左右图像区域车道线不明显而导致的检测问题。个人感觉这样的假设先验有一定的道理但是其假设性比较强。

2.3 贝塞尔曲线拟合

曲线的描述&＃xff1a;
贝塞尔曲线是控制点和偏置项决定的&＃xff0c;则一条曲线可以被描述为&＃xff1a;
B&＃61;∑i&＃61;0nbi,n(t)Pi,0≤t≤1\mathcal{B}&＃61;\sum_{i&＃61;0}^nb_{i,n}(t)\mathcal{P}_i,0\le t \le1B&＃61;i&＃61;0∑n​bi,n​(t)Pi​,0≤t≤1
其中&＃xff0c;生成曲线上每一个点的偏移项在阶数$n$&＃xff08;文章中将其设置为3&＃xff09;下的描述为&＃xff1a;
bi,n&＃61;Cniti(1−t)n−i,i&＃61;0,…,nb_{i,n}&＃61;C_n^it^i(1-t)^{n-i},i&＃61;0,\dots,nbi,n​&＃61;Cni​ti(1−t)n−i,i&＃61;0,…,n

贝塞尔曲线GT生成&＃xff1a;
在原始的标注文件中给出的是描述车道线的点坐标&＃xff0c;因而需要将这些数据转换到由贝塞尔曲线控制的参数下表达&＃xff0c;对此文章是通过最小二乘法的方式计算白塞尔线的GT。

曲线回归匹配与损失函数&＃xff1a;
在之前的一些工作中通过L1损失函数的形式去监督贝塞尔曲线的控制点&＃xff0c;如下图的&＃xff08;a&＃xff09;图所示&＃xff0c;但是这样的结果是由控制点生成的曲线效果并不与实际曲线贴合效果直接关联。对此文章参考polynomial-based中的策略&＃xff08;图c&＃xff09;&＃xff0c;通过sample采样&＃xff08;文中取采样点为100&＃xff09;的方式去计算曲线的贴合程度。

那么对于文章中提到的曲线采样点匹配策略是通过枚举的形式得到的&＃xff0c;其描述为&＃xff1a;
π^&＃61;arg max⁡π∈∏GN∑iGQi,π(i)\hat{\pi}&＃61;\argmax_{\pi\in\prod_G^N}\sum_i^GQ_{i,\pi}(i)π^&＃61;π∈∏GN​argmax​i∑G​Qi,π​(i)
其中&＃xff0c;$N,G$代表的是采样的点集和GT点集&＃xff0c;$\pi (i)$代表的是第$i$车道线。那么匹配的度量是&＃xff1a;
Qi,π(i)&＃61;(p^π(i))1−α⋅(1−L1(bi,b^π(i)))αQ_{i,\pi}(i)&＃61;(\hat{p}_{\pi(i)})^{1-\alpha}\cdot(1-L_1(b_i,\hat{b}_{\pi(i)}))^\alphaQi,π​(i)&＃61;(p^​π(i)​)1−α⋅(1−L1​(bi​,b^π(i)​))α
其中&＃xff0c;p^π(i)\hat{p}_{\pi(i)}p^​π(i)​代表的是第$i$车道线的分类概率&＃xff0c;且$\alpha \&＃61;0.8$。L1(bi,b^π(i))L_1(b_i,\hat{b}_{\pi(i)})L1​(bi​,b^π(i)​)代表的是对应采样点的差异&＃xff0c;可参考上图b中的关联虚线。

损失函数&＃xff1a;
首先&＃xff0c;对于贝塞尔曲线的整体约束是使用L1的形式&＃xff1a;
Lreg&＃61;1n∑t∈T∣∣B(f(t))−B^(f(t))∣∣1L_{reg}&＃61;\frac{1}{n}\sum_{t\in T}||\mathcal{B}(f(t))-\hat{\mathcal{B}}(f(t))||_1Lreg​&＃61;n1​t∈T∑​∣∣B(f(t))−B^(f(t))∣∣1​
对于车道线的分类使用的是加权的二值交叉熵的形式&＃xff0c;此外还添加车道线二值分割损失&＃xff0c;则整体的损失函数描述为&＃xff1a;
L&＃61;λ1Lreg&＃43;λ2Lcls&＃43;λ3LsegL&＃61;\lambda_1L_{reg}&＃43;\lambda_2L_{cls}&＃43;\lambda_3L_{seg}L&＃61;λ1​Lreg​&＃43;λ2​Lcls​&＃43;λ3​Lseg​
其中&＃xff0c;λ1&＃61;1,λ2&＃61;0.1,λ3&＃61;0.75\lambda_1&＃61;1,\lambda_2&＃61;0.1,\lambda_3&＃61;0.75λ1​&＃61;1,λ2​&＃61;0.1,λ3​&＃61;0.75。

2.4 消融实验

上述2.3节中各分量对整体性能的影响&＃xff1a;

CULane数据集性能比较&＃xff1a;