热门标签 | HotTags
当前位置:  开发笔记 > IOS > 正文

深入解析国内AEB应用:摄像头和毫米波雷达融合技术的现状与前景

本文作者程建伟,武汉极目智能技术有限公司CEO,入选武汉市“光谷3551人才计划”。文章详细探讨了国内自动紧急制动(AEB)系统中摄像头与毫米波雷达融合技术的现状及未来前景。通过分析当前技术的应用情况、存在的挑战以及潜在的解决方案,作者指出,随着传感器技术的不断进步和算法优化,AEB系统的性能将大幅提升,为交通安全带来显著改善。

雷锋网(公众号:雷锋网)新智驾按:本文作者程建伟,武汉极目智能技术有限公司CEO;入选武汉市“光谷3551人才计划“; 2011年起从事视觉ADAS开发。雷锋网新智驾独家发布,转载请联系授权。

传感器融合被认为是智能驾驶的必然趋势。而这两年,在交通部政策的推动下,部分L1和L2级别的ADAS功能被要求在某些商用车型中强制安装,包括AEB(自动紧急刹车)。这里就借AEB在商用车上的落地谈谈传感器融合的事情。

从国内AEB落地剖析:摄像头与毫米波雷达的融合技术

AEB的技术实现方法

目前,实现AEB的技术主要有三类,分别是基于视觉传感器、毫米波雷达和激光雷达。由于成本限制因素,国内主要使用前两种方式。视觉传感器和毫米波雷达实现对车辆的AEB功能的原理不同:毫米波雷达主要是通过对目标物发送电磁波并接收回波来获得目标物体的距离、速度和角度。视觉方案稍复杂,以单目视觉方案为例,它需要先进行目标识别,然后根据目标在图像中的像素大小来估算目标的距离。

这两类技术各有优劣。总体来讲,摄像头方案成本低,可以识别不同的物体,在物体高度与宽度测量精度、车道线识别、行人识别准确度等方面有优势,是实现车道偏离预警、交通标志识别等功能不可缺少的传感器,但作用距离和测距精度不如毫米波雷达,并且容易受光照、天气等因素的影响。毫米波雷达受光照和天气因素影响较小,测距精度高,但难以识别车道线、交通标志等元素。另外,毫米波雷达通过多普勒偏移的原理能够实现更高精度的目标速度探测。

  从国内AEB落地剖析:摄像头与毫米波雷达的融合技术

于是就有了第三种方案,将摄像头和雷达进行融合,相互配合共同构成汽车的感知系统,取长补短,实现更稳定可靠的AEB功能。

融合方案也是国内商用车AEB的落地上所强制要求的方式。在JT/T 1094-2016《营运客车安全技术条件》中提到,车长超过9米的营运客车需装备符合JT/T 883规定的车道偏离预警系统(LDWS)和AEB(包括前车碰撞预警系统)。在交通部办公厅所印发的《营运客车安全达标实车核查工作规范》中明确要求,营运客车驾驶室前面罩需要安装AEBS毫米波雷达或激光雷达装置。后续想必也会出台政策推进在其他商用车车型上的普及,未来可能还会扩展覆盖乘用车。

传感器数据融合的原理与优势

采用融合方案后,摄像头和雷达会获取到不同的感知信息,这些信息之间可以相互补充,但也可能会存在矛盾。假设在某一场景下,来自摄像头的信息是车辆前方50米左右有异型车,需要刹车,而雷达却没有反馈同样的信息,这样的矛盾信息可能会让车辆不知所措。所以,为了让车辆控制中心接收到一致且明确的行动指令,就需要将传感器的数据进行融合。

传感器数据融合的基本原理跟人脑综合处理来自眼、鼻、耳等多器官的信息类似,主要是综合多个传感器获取的数据和信息,把多传感器在空间或时间上冗余或互补信息依据某种准则来进行组合,获得对被测对象的一致性描述。

回到驾驶场景上,大致是这样的流程:首先摄像头和毫米波雷达分别针对观测目标收集数据,然后对各传感器的输出数据进行特征提取与模式识别处理,并将目标按类别进行准确关联,最后利用融合算法将同一目标的所有传感器数据进行整合,从而得出关于目标威胁性的一致性结论。

以极目智能的视觉和雷达融合系统为例。如下图,图中蓝色点和绿色点分别为摄像头和毫米波雷达对同一目标的检测,摄像头主要负责目标外观锁定,毫米波雷达主要负责测距。红色点是雷达检测到的其他地物目标。

从国内AEB落地剖析:摄像头与毫米波雷达的融合技术

数据融合也有不同的策略,比如有的方案会选择将不同传感器各自处理生成的目标数据进行融合,有些会选择将不同传感器的原始数据进行融合,避免一些原始数据的丢失。在智能驾驶场景下,视觉和毫米波雷达的数据融合大致有3种策略:图像级、目标级和信号级。

从国内AEB落地剖析:摄像头与毫米波雷达的融合技术

图像级融合,是以视觉为主体,将雷达输出的整体信息进行图像特征转化,然后与视觉系统的图像输出进行融合;目标级融合, 是对视觉和雷达输出进行综合可信度加权,配合精度标定信息进行自适应的搜索匹配后融合输出;信号级融合,是对视觉和雷达传感器ECU传出的数据源进行融合。其中,信号级别的融合数据损失最小,可靠性最高,但需要大量的运算。

测试数据显示,与单视觉或单雷达方案相比,融合方案在系统可靠性和鲁棒性、数据可信度、系统分辨能力等方面更具优势。

 从国内AEB落地剖析:摄像头与毫米波雷达的融合技术

视觉和毫米波雷达融合的技术基础

传感器融合已被公认为是智能驾驶的必然趋势。为了实现视觉和毫米波雷达的数据融合,需要具备一些技术基础,比如系统化的图像和雷达数据获取和处理技术体系,在数据处理和目标分类识别等层面具有信息融合算法的优化和设计能力,等等。鉴于当前国内的视觉感知技术要比毫米波雷达更加成熟,那么对于视觉技术企业来讲,他们在与外部雷达平台进行融合的时候,则需要具备优秀的雷达系统二次开发能力,尽量提高信息的利用率。

对于视觉和毫米波雷达的融合,技术实现上的主要难点在于摄像头和雷达观测值的匹配、数据融合、多目标场景下有效目标库的维护等,需要考虑容错性、灵活性、可拓展性、可靠性、安装等多方面的因素。

信息融合技术实现需要不断配合大量路测,涉及设备输出、真值标定以及二次数据开发等工作,对应的数据采集量、数据存储量、数据交互量、数据处理工作量非常大,对于研发机构的综合开发能力有很高的要求。

最后,传感器数据融合的核心关键还是在于采用合适的融合算法。作为一个新兴领域,数据融合目前尚无统一的理论和广义有效的融合模型和算法,需要根据具体场景来选择,但可以预见,神经网络和人工智能等新技术在传感器数据融合中将起到越来越重要的作用。这也是各行业参与者打造技术壁垒,建立核心竞争力的关键所在。

雷锋网推荐阅读:《极目智能凭何战胜 Mobileye 拿下金龙大单?又将如何深耕 ADAS 行业?》

雷锋网特约稿件,未经授权禁止转载。详情见。


推荐阅读
  • H5技术实现经典游戏《贪吃蛇》
    本文将分享一个使用HTML5技术实现的经典小游戏——《贪吃蛇》。通过H5技术,我们将探讨如何构建这款游戏的两种主要玩法:积分闯关和无尽模式。 ... [详细]
  • 知识图谱与图神经网络在金融科技中的应用探讨
    本文详细介绍了融慧金科AI Lab负责人张凯博士在2020爱分析·中国人工智能高峰论坛上的演讲,探讨了知识图谱与图神经网络模型如何在金融科技领域发挥重要作用。 ... [详细]
  • 2020年9月15日,Oracle正式发布了最新的JDK 15版本。本次更新带来了许多新特性,包括隐藏类、EdDSA签名算法、模式匹配、记录类、封闭类和文本块等。 ... [详细]
  • 浏览器作为我们日常不可或缺的软件工具,其背后的运作机制却鲜为人知。本文将深入探讨浏览器内核及其版本的演变历程,帮助读者更好地理解这一关键技术组件,揭示其内部运作的奥秘。 ... [详细]
  • 吴石访谈:腾讯安全科恩实验室如何引领物联网安全研究
    腾讯安全科恩实验室曾两次成功破解特斯拉自动驾驶系统,并远程控制汽车,展示了其在汽车安全领域的强大实力。近日,该实验室负责人吴石接受了InfoQ的专访,详细介绍了团队未来的重点方向——物联网安全。 ... [详细]
  • 深入理解云计算与大数据技术
    本文详细探讨了云计算与大数据技术的关键知识点,包括大数据处理平台、社会网络大数据、城市大数据、工业大数据、教育大数据、数据开放与共享的应用,以及搜索引擎与Web挖掘、推荐技术的研究及应用。文章还涵盖了云计算的基础概念、特点和服务类型分类。 ... [详细]
  • 英特尔推出第三代至强可扩展处理器及傲腾持久内存,AI性能显著提升
    英特尔在数据创新峰会上发布了第三代至强可扩展处理器和第二代傲腾持久内存,全面增强AI能力和系统性能。 ... [详细]
  • 兆芯X86 CPU架构的演进与现状(国产CPU系列)
    本文详细介绍了兆芯X86 CPU架构的发展历程,从公司成立背景到关键技术授权,再到具体芯片架构的演进,全面解析了兆芯在国产CPU领域的贡献与挑战。 ... [详细]
  • Python 数据可视化实战指南
    本文详细介绍如何使用 Python 进行数据可视化,涵盖从环境搭建到具体实例的全过程。 ... [详细]
  • 本文探讨了Web应用(Web App)与原生应用(Native App)之间的主要差异,包括它们在开发、功能实现及版本管理等方面的不同特点,并分析了各自的优势与适用场景。 ... [详细]
  • 龙蜥社区开发者访谈:技术生涯的三次蜕变 | 第3期
    龙蜥社区的开发者们通过自己的实践和经验,推动着开源技术的发展。本期「龙蜥开发者说」聚焦于一位资深开发者的三次技术转型,分享他在龙蜥社区的成长故事。 ... [详细]
  • 微软等企业捐赠首批AI有声读物,助力视障人士
    12月2日,微软联合鹿音苑文化传播公司及150多名志愿者,共同捐赠了首批由人工智能生成的有声内容,旨在为视障人士提供更多文化资源。 ... [详细]
  • 无线鼠标应用:Remote Mouse
    Remote Mouse 是一款功能强大的无线鼠标软件,可将您的手机或平板设备变为遥控器,完美模拟键盘和鼠标操作,实现手机远程控制电脑。 ... [详细]
  • 本文介绍了实现人工智能的多种方法,并重点探讨了当前最热门的技术——通过深度学习训练神经网络。文章通过具体实例详细解释了神经网络的基本原理及其应用。 ... [详细]
  • 在2019中国国际智能产业博览会上,百度董事长兼CEO李彦宏强调,人工智能应务实推进其在各行业的应用。随后,在“ABC SUMMIT 2019百度云智峰会”上,百度展示了通过“云+AI”推动AI工业化和产业智能化的最新成果。 ... [详细]
author-avatar
lanshan1126141
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有