Apollo感知

转自  Apollo阿波罗智能驾驶 

原文章地址&＃xff1a; https://baijiahao.baidu.com/s?id&＃61;1619639699587335253&wfr&＃61;spider&for&＃61;pc

在前面的课程里&＃xff0c;我们提到了感知模块内的计算机视觉和深度学习&＃xff0c;这节课我们来讲一讲感知任务中的分类、跟踪、语义分割和 Apollo 感知相关的内容。

在驾驶过程中无人车会遇到许多障碍物&＃xff0c;静态障碍物包括墙壁、树木、杆子、建筑物&＃xff1b;动态障碍物包括行人、自行车和各种汽车 &＃xff0c;计算机首先要知道这些障碍物的位置&＃xff0c;进而障碍物进行分类。

一、检测与分类

在行驶过程中无人车会探测到许多不同的物体&＃xff0c;汽车根据所感知的物体类型来确定路径和速度。

如果感知到前方有一辆自行车&＃xff0c;汽车可能会决定减速或变道&＃xff0c;以便安全驶过自行车&＃xff1b;但是&＃xff0c;如果感知到前方是一辆汽车&＃xff0c;并预测到前方车辆也将以接近限速的速度行驶&＃xff0c;无人车可能会保持其速度与车道。当无人车前方出现交通信号灯时候&＃xff0c;首先计算机视觉会对图像中的交通信号灯进行定位&＃xff0c;进而根据交通信号灯显示的颜色对其进行分类。

那么&＃xff0c;无人车是用什么算法来对障碍物进行检测和分类的&＃xff1f;

首先&＃xff0c;我们可以使用检测 CNN 来查找图像中对象的位置&＃xff0c;在对图像中的对象进行定位后&＃xff0c;我们将图像发送给另一个 CNN 进行分类&＃xff1b;我们也可以使用单一 CNN 体系结构对对象进行检测和分类&＃xff0c;此时通常的做法是在单个网络体系结构的末端附加几个不同的“头”&＃xff0c;一个头可能执行检测&＃xff0c;另一个则可能执行分类。

一个经典的体系结构为 R-CNN 及其变体 Fast R-CNN 和 Faster R-CNN&＃xff0c;YOLO 和 SSD 是具有类似形式的不同体系结构。

二、跟踪

在检测完对象后&＃xff0c;我们要对检测到的对象进行追踪&＃xff0c;进而我们需要知道&＃xff1a;

追踪的意义是什么&＃xff1f;如果我们对每个帧中的每个对象进行检测&＃xff0c;并用边界框对每个对象进行标识&＃xff0c;那么跨帧追踪对象会有什么好处&＃xff1f;首先&＃xff0c;追踪可以解决遮挡问题。如果在运行检测算法时&＃xff0c;对象被其他对象遮挡了一部分&＃xff0c;则检测算法可能会失败&＃xff0c;所以追踪在检测失败时至关重要。

目标对象被遮挡后&＃xff0c;检测算法可能会失败

追踪可以解决目标对象被遮挡的问题

同时&＃xff0c;追踪可以保留身份。障碍物检测的输出为包含对象的边界框&＃xff0c;但是&＃xff0c;对象没有与任何身份关联&＃xff0c;单独使用对象检测时&＃xff0c;计算机不知道一个帧中的哪些对象与下一个帧中的哪些对象相对应。该任务对人类来说很简单&＃xff0c;但对汽车来说很困难。

没有身份关联时&＃xff0c;计算机无法分辨每一帧

通过追踪保留身份

追踪的第一步为确认身份。通过查找特征相似度最高的对象&＃xff0c;我们将在之前的帧中检测到的所有对象&＃xff0c;与当前的帧中检测到的对象进行匹配&＃xff0c;对象具有各种特征&＃xff0c;有些特征可能基于颜色&＃xff0c;而另一些特征可能基于形状&＃xff0c;计算机视觉算法可以计算出复杂的图像特征&＃xff0c;如局部二值模式和方向梯度直方图。

我们也需要考虑连续视频帧中两个障碍物之间的位置和速度&＃xff0c;由于两个帧之间的对象位置和速度没有太大变化&＃xff0c;该信息也可以帮助我们快速找到匹配的对象&＃xff0c;在确定身份后&＃xff0c;我们可以使用对象的位置并结合预测算法&＃xff0c;以估计其在下一个时间步的速度和位置&＃xff0c;该预测可帮助我们识别下一帧中的相应对象。

根据两个帧对象的位置和速度确认身份

三、语义分割

语义分割涉及对图像每个像素进行分类&＃xff0c;它用于尽可能详细地了解环境&＃xff0c;并确定车辆可驾驶区域。语义分割依赖于一种特殊类型的 CNN&＃xff0c;它被称为全卷积网络或 FCN&＃xff0c;FCN 用卷积层来代替传统 CNN 体系结构末端的平坦层。现在&＃xff0c;网络中的每一层都是卷积层&＃xff0c;因此其名称为“全卷积网络”。

FCN 提供了可在原始输入图像之上叠加的逐像素输出&＃xff0c; 但我们必须考虑的一个复杂因素是大小。在典型的 CNN 中&＃xff0c;经过多次卷积之后所产生的输出比原始输入图像小得多&＃xff0c;然而&＃xff0c;为了分割像素&＃xff0c;输入尺寸必须与原始图像的尺寸相匹配。

为了达到该目的&＃xff0c;我们可以对中间输出进行上采样处理&＃xff0c;直到最终输出的大小与原始输出图像的大小相匹配。网络的前半部分通常被称为“编码器”&＃xff0c;因为这部分网络对输入图像的特征进行了提取和编码。网络的后半部分通常被称为“解码器”&＃xff0c;因为它对这些特征进行了解码&＃xff0c;并将其应用于输出。

四、Apollo 的感知算法

Apollo 开放式软件栈可感知障碍物、交通信号灯和车道&＃xff0c;对于三维对象检测&＃xff0c;Apollo 在高精度地图上使用感兴趣区域&＃xff08;ROI&＃xff09;来重点关注相关对象&＃xff0c;Apollo 将 ROI 过滤器应用于点云和图像数据&＃xff0c;以缩小搜索范围并加快感知。

然后&＃xff0c;通过检测网络馈送已过滤的点云&＃xff0c;输出用于构建围绕对象的三维边界框

最后&＃xff0c;我们使用被称为检测跟踪关联的算法来跨时间步识别单个对象。该算法先保留在每个时间步要跟踪的对象列表&＃xff0c;然后在下一个时间步中找到每个对象的最佳匹配。

当无人车前方出现交通信号灯时&＃xff0c;Apollo 先使用高精度地图来确定前方是否存在交通信号灯。如果前方有交通信号灯&＃xff0c;则高精度地图会返回灯的位置&＃xff0c;这侧重于摄像头搜索范围。

在摄像头捕获到交通信号灯图像后&＃xff0c;Apollo 使用检测网络对图像中的灯进行定位&＃xff0c;然后 Apollo 从较大的图像中提取交通信号灯&＃xff0c;Apollo 将裁剪的交通灯图像提供给分类网络&＃xff0c;以确定灯颜色&＃xff0c;如果有许多灯&＃xff0c;则系统需要选择哪些灯与其车道相关。

Apollo 使用 YOLO 网络来检测车道线和动态物体&＃xff0c;其中包括汽车、骑自行车的人和行人。在经过 YOLO 网络检测后&＃xff0c;在线检测模块会并入来自其他传感器的数据&＃xff0c;对车道线预测进行调整&＃xff0c;车道线最终被并入名为“虚拟车道”的单一数据结构中。同样也通过其他传感器的数据对 YOLO 网络所检测到的动态对象进行调整&＃xff0c;以获得每个对象的类型、位置、速度和前进方向、虚拟通道和动态对象&＃xff0c;均被传递到规划和控制模块。

五、 Apollo 的感知融合策略

感知通常依赖于摄像头、激光雷达和雷达&＃xff0c;该图显示了三种传感器的优缺点

由上图可知&＃xff1a;

摄像头非常适用于分类&＃xff0c;在 Apollo 中摄像头主要用于交通信号灯分类以及车道检测&＃xff1b;激光雷达的优势在于障碍物检测&＃xff0c;即使在夜间没有自然光的情况下&＃xff0c; 激光雷达仍能准确地检测障碍物&＃xff1b;雷达在探测范围和应对恶劣天气方面占优势。通过融合这三种传感器的数据&＃xff0c;实现最佳聚合性能被称为传感器融合。Apollo 使用激光雷达和雷达来检测障碍物&＃xff0c;用于融合输出的主要算法为卡尔曼滤波。卡尔曼滤波有两个步骤&＃xff0c;第一步为预测状态&＃xff0c;第二部是更新测量结果。

设想我们正在跟踪一名行人&＃xff0c;这里的状态表示行人的位置和速度&＃xff0c;从已经掌握的行人状态开始&＃xff0c;我们使用这些信息来执行卡尔曼滤波的第一步&＃xff0c;即预测行人在未来的状态&＃xff0c;下一步为误差结果更新&＃xff0c;我们使用新的传感器来更新我们所认为的行人状态。

卡尔曼滤波的算法是预测和更新步骤的无限循环&＃xff0c;实际上有两种测量结果更新步骤&＃xff0c;同步和异步。同步融合同时更新来自不同传感器的测量结果&＃xff0c;而异步融合则逐个更新所收到的传感器测量结果&＃xff0c;传感器融合可提高感知性能&＃xff0c;因为各传感器相辅相成&＃xff0c;融合也可以减少跟踪误差&＃xff0c;所以我们可以更加确信对道路上其他物体位置的预测。

同步更新示意

异步更新示意

在最近的三节课中&＃xff0c;我们介绍了无人车的感知运作方式&＃xff0c;涉及了不同的方法和传感器&＃xff0c; 我们了解了主要的感知任务&＃xff0c;包括检测、分类、跟踪和分割&＃xff0c;这些应用中的大部分都依赖于卷积神经网络&＃xff0c;最后我们探讨了传感器融合&＃xff0c;以及如何使用预测更新周期来过滤传感器数据。正是有了这些工具&＃xff0c;无人驾驶才可以使用自身的传感器来感知世界。

如果您对无人车的“感知”模块还有疑问&＃xff0c;请在文末留言&＃xff0c;我们会为您依次解答。接下来我们将开启新的章节——自动驾驶的“预测”模块。