热门标签 | HotTags
当前位置:  开发笔记 > IOS > 正文

深入解析国内AEB应用:摄像头和毫米波雷达融合技术的现状与前景

本文作者程建伟,武汉极目智能技术有限公司CEO,入选武汉市“光谷3551人才计划”。文章详细探讨了国内自动紧急制动(AEB)系统中摄像头与毫米波雷达融合技术的现状及未来前景。通过分析当前技术的应用情况、存在的挑战以及潜在的解决方案,作者指出,随着传感器技术的不断进步和算法优化,AEB系统的性能将大幅提升,为交通安全带来显著改善。

雷锋网(公众号:雷锋网)新智驾按:本文作者程建伟,武汉极目智能技术有限公司CEO;入选武汉市“光谷3551人才计划“; 2011年起从事视觉ADAS开发。雷锋网新智驾独家发布,转载请联系授权。

传感器融合被认为是智能驾驶的必然趋势。而这两年,在交通部政策的推动下,部分L1和L2级别的ADAS功能被要求在某些商用车型中强制安装,包括AEB(自动紧急刹车)。这里就借AEB在商用车上的落地谈谈传感器融合的事情。

从国内AEB落地剖析:摄像头与毫米波雷达的融合技术

AEB的技术实现方法

目前,实现AEB的技术主要有三类,分别是基于视觉传感器、毫米波雷达和激光雷达。由于成本限制因素,国内主要使用前两种方式。视觉传感器和毫米波雷达实现对车辆的AEB功能的原理不同:毫米波雷达主要是通过对目标物发送电磁波并接收回波来获得目标物体的距离、速度和角度。视觉方案稍复杂,以单目视觉方案为例,它需要先进行目标识别,然后根据目标在图像中的像素大小来估算目标的距离。

这两类技术各有优劣。总体来讲,摄像头方案成本低,可以识别不同的物体,在物体高度与宽度测量精度、车道线识别、行人识别准确度等方面有优势,是实现车道偏离预警、交通标志识别等功能不可缺少的传感器,但作用距离和测距精度不如毫米波雷达,并且容易受光照、天气等因素的影响。毫米波雷达受光照和天气因素影响较小,测距精度高,但难以识别车道线、交通标志等元素。另外,毫米波雷达通过多普勒偏移的原理能够实现更高精度的目标速度探测。

  从国内AEB落地剖析:摄像头与毫米波雷达的融合技术

于是就有了第三种方案,将摄像头和雷达进行融合,相互配合共同构成汽车的感知系统,取长补短,实现更稳定可靠的AEB功能。

融合方案也是国内商用车AEB的落地上所强制要求的方式。在JT/T 1094-2016《营运客车安全技术条件》中提到,车长超过9米的营运客车需装备符合JT/T 883规定的车道偏离预警系统(LDWS)和AEB(包括前车碰撞预警系统)。在交通部办公厅所印发的《营运客车安全达标实车核查工作规范》中明确要求,营运客车驾驶室前面罩需要安装AEBS毫米波雷达或激光雷达装置。后续想必也会出台政策推进在其他商用车车型上的普及,未来可能还会扩展覆盖乘用车。

传感器数据融合的原理与优势

采用融合方案后,摄像头和雷达会获取到不同的感知信息,这些信息之间可以相互补充,但也可能会存在矛盾。假设在某一场景下,来自摄像头的信息是车辆前方50米左右有异型车,需要刹车,而雷达却没有反馈同样的信息,这样的矛盾信息可能会让车辆不知所措。所以,为了让车辆控制中心接收到一致且明确的行动指令,就需要将传感器的数据进行融合。

传感器数据融合的基本原理跟人脑综合处理来自眼、鼻、耳等多器官的信息类似,主要是综合多个传感器获取的数据和信息,把多传感器在空间或时间上冗余或互补信息依据某种准则来进行组合,获得对被测对象的一致性描述。

回到驾驶场景上,大致是这样的流程:首先摄像头和毫米波雷达分别针对观测目标收集数据,然后对各传感器的输出数据进行特征提取与模式识别处理,并将目标按类别进行准确关联,最后利用融合算法将同一目标的所有传感器数据进行整合,从而得出关于目标威胁性的一致性结论。

以极目智能的视觉和雷达融合系统为例。如下图,图中蓝色点和绿色点分别为摄像头和毫米波雷达对同一目标的检测,摄像头主要负责目标外观锁定,毫米波雷达主要负责测距。红色点是雷达检测到的其他地物目标。

从国内AEB落地剖析:摄像头与毫米波雷达的融合技术

数据融合也有不同的策略,比如有的方案会选择将不同传感器各自处理生成的目标数据进行融合,有些会选择将不同传感器的原始数据进行融合,避免一些原始数据的丢失。在智能驾驶场景下,视觉和毫米波雷达的数据融合大致有3种策略:图像级、目标级和信号级。

从国内AEB落地剖析:摄像头与毫米波雷达的融合技术

图像级融合,是以视觉为主体,将雷达输出的整体信息进行图像特征转化,然后与视觉系统的图像输出进行融合;目标级融合, 是对视觉和雷达输出进行综合可信度加权,配合精度标定信息进行自适应的搜索匹配后融合输出;信号级融合,是对视觉和雷达传感器ECU传出的数据源进行融合。其中,信号级别的融合数据损失最小,可靠性最高,但需要大量的运算。

测试数据显示,与单视觉或单雷达方案相比,融合方案在系统可靠性和鲁棒性、数据可信度、系统分辨能力等方面更具优势。

 从国内AEB落地剖析:摄像头与毫米波雷达的融合技术

视觉和毫米波雷达融合的技术基础

传感器融合已被公认为是智能驾驶的必然趋势。为了实现视觉和毫米波雷达的数据融合,需要具备一些技术基础,比如系统化的图像和雷达数据获取和处理技术体系,在数据处理和目标分类识别等层面具有信息融合算法的优化和设计能力,等等。鉴于当前国内的视觉感知技术要比毫米波雷达更加成熟,那么对于视觉技术企业来讲,他们在与外部雷达平台进行融合的时候,则需要具备优秀的雷达系统二次开发能力,尽量提高信息的利用率。

对于视觉和毫米波雷达的融合,技术实现上的主要难点在于摄像头和雷达观测值的匹配、数据融合、多目标场景下有效目标库的维护等,需要考虑容错性、灵活性、可拓展性、可靠性、安装等多方面的因素。

信息融合技术实现需要不断配合大量路测,涉及设备输出、真值标定以及二次数据开发等工作,对应的数据采集量、数据存储量、数据交互量、数据处理工作量非常大,对于研发机构的综合开发能力有很高的要求。

最后,传感器数据融合的核心关键还是在于采用合适的融合算法。作为一个新兴领域,数据融合目前尚无统一的理论和广义有效的融合模型和算法,需要根据具体场景来选择,但可以预见,神经网络和人工智能等新技术在传感器数据融合中将起到越来越重要的作用。这也是各行业参与者打造技术壁垒,建立核心竞争力的关键所在。

雷锋网推荐阅读:《极目智能凭何战胜 Mobileye 拿下金龙大单?又将如何深耕 ADAS 行业?》

雷锋网特约稿件,未经授权禁止转载。详情见。


推荐阅读
  • 独家解析:深度学习泛化理论的破解之道与应用前景
    本文深入探讨了深度学习泛化理论的关键问题,通过分析现有研究和实践经验,揭示了泛化性能背后的核心机制。文章详细解析了泛化能力的影响因素,并提出了改进模型泛化性能的有效策略。此外,还展望了这些理论在实际应用中的广阔前景,为未来的研究和开发提供了宝贵的参考。 ... [详细]
  • 浏览器作为我们日常不可或缺的软件工具,其背后的运作机制却鲜为人知。本文将深入探讨浏览器内核及其版本的演变历程,帮助读者更好地理解这一关键技术组件,揭示其内部运作的奥秘。 ... [详细]
  • 你可能还记得,在《真实谎言》、《偷天陷阱》、《查理的天使》、《少数派报告》等好莱坞科幻电影中,经常出现一个类似的场景:角色将眼睛靠近某个识别设备,以完成身份验证。这种基于眼睛的生物识别技术,即指静脉识别,曾在过去近二十年间逐渐淡出公众视野。然而,随着技术的不断进步和多模态生物识别系统的兴起,指静脉识别技术正迎来新的发展机遇。该技术通过检测手指内部的静脉图案,具有高安全性、难以伪造的特点,有望在未来成为生物识别领域的重要组成部分。 ... [详细]
  • 当前物联网领域十大核心技术解析:涵盖哪些关键技术?
    经过近十年的技术革新,物联网已悄然渗透到日常生活中,对社会产生了深远影响。本文将详细解析当前物联网领域的十大核心关键技术,包括但不限于:1. 军事物联网技术,该技术通过先进的感知设备实现战场环境的实时监测与数据传输,提升作战效能和决策效率。其他关键技术还包括传感器网络、边缘计算、大数据分析等,这些技术共同推动了物联网的快速发展和广泛应用。 ... [详细]
  • 本文详细介绍了如何使用OpenSSL自建CA证书的步骤,包括准备工作、生成CA证书、生成服务器待签证书以及证书签名等过程。 ... [详细]
  • Python 数据可视化实战指南
    本文详细介绍如何使用 Python 进行数据可视化,涵盖从环境搭建到具体实例的全过程。 ... [详细]
  • 本文通过思维导图的形式,深入解析了大型网站技术架构的核心原理与实际案例。首先,探讨了大型网站架构的演化过程,从单体应用到分布式系统的转变,以及各阶段的关键技术和挑战。接着,详细分析了常见的大型网站架构模式,包括负载均衡、缓存机制、数据库设计等,并结合具体案例进行说明。这些内容不仅有助于理解大型网站的技术实现,还能为实际项目提供宝贵的参考。 ... [详细]
  • OpenAI首席执行官Sam Altman展望:人工智能的未来发展方向与挑战
    OpenAI首席执行官Sam Altman展望:人工智能的未来发展方向与挑战 ... [详细]
  • iPhone 11的几大痛点与小聪明:苹果的精明策略分析
    面对一个直截了当的问题:新款iPhone 11没有5G功能,你会购买吗?在这一年里,苹果面临了自初代iPhone发布以来最尴尬的业绩挑战。尽管iPhone在过去十年中持续热销,推动苹果成为全球市值最高的公司之一,但苹果现在正通过大力拓展服务业务来应对这一困境。此外,苹果还采取了一系列精明的策略,如优化成本控制和提升用户体验,以保持其市场竞争力。 ... [详细]
  • 短信验证码安全性堪忧,多因素认证或成未来主流
    短信验证码安全性堪忧,多因素认证或成未来主流 ... [详细]
  • 能够感知你情绪状态的智能机器人即将问世 | 科技前沿观察
    本周科技前沿报道了多项重要进展,包括美国多所高校在机器人技术和自动驾驶领域的最新研究成果,以及硅谷大型企业在智能硬件和深度学习技术上的突破性进展。特别值得一提的是,一款能够感知用户情绪状态的智能机器人即将问世,为未来的人机交互带来了全新的可能性。 ... [详细]
  • 深入浅出解读奇异值分解,助你轻松掌握核心概念 ... [详细]
  • 如何在电脑上设置两小时后自动关机及解决无法开机的问题 ... [详细]
  • 射频领域的博士学位在信号处理算法方面具有广阔的职业前景,尤其是在射频技术的应用中。例如,加入华为的射频基站部门,从事数字预失真等关键技术的研发工作。在此过程中,需要注意持续跟踪最新的学术和技术进展,保持对行业动态的敏感性,并不断提升自身的实践能力和创新能力。此外,除了技术层面,还应关注行业的整体发展趋势,以便更好地规划职业生涯。 ... [详细]
  • Python与R语言在功能和应用场景上各有优势。尽管R语言在统计分析和数据可视化方面具有更强的专业性,但Python作为一种通用编程语言,适用于更广泛的领域,包括Web开发、自动化脚本和机器学习等。对于初学者而言,Python的学习曲线更为平缓,上手更加容易。此外,Python拥有庞大的社区支持和丰富的第三方库,使其在实际应用中更具灵活性和扩展性。 ... [详细]
author-avatar
lanshan1126141
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有