今天看了一篇武汉大学李必军教授的关于自动驾驶的文章,虽然是去年的文章,细细品来,其对自动驾驶的发展历史,自动驾驶与高精度地图,人工智能的关联,以及实现自动驾驶的方案探讨,深入浅出,具有科普效果及对未来的预测,我对其中概论理论很是膜拜。以下为它的文章(我会根据自己的理解做注释,若有不当,请包涵):
李必军:
今天我主要讲地图在自动驾驶中的应用。
在武汉大学测绘遥感里面主要是做测绘工作,从移动测量到汽车导航,再到现在的无人驾驶,做移动测量将近有20年的时间,无人驾驶2008年到现在也整整十年,我发现这里面有很多的问题。
我这么多年做的研究其实是跟导航、位置服务紧密相关的,包括从2009年到现在做的国家863、国家自然科学基金等项目,基本上都是围绕着地图数据的获取、处理跟服务展开的。最近的就是从广义影象到基于双目视觉,再到智能汽车的环境精细感知,从这里面可以看到测绘技术在交通领域的研究应用。PPT上列的是这些年的研究成果,特别是2017年底完成了国家标准——关于导航电子地图增量更新,参与单位还有四维图新、高德,包括在座的熟人也参与了一系列关于地图相关的标准。
今天重点讲四个方面,主要是智能驾驶与地图相关的,里面有很多内容是我自己这些年的经验总结,可能跟现在的大众说法有些不一样的地方,大家可以共同探讨,在这里也请大家提供宝贵的意见和建议。
首先,测绘。在遥感实验室有一个方向叫做3S集成研究室,在座的都知道3S集成是什么内容。智能交通这块是我的老师在实验室定的一个新的研究方向。怎么样介入交通领域?那我们就选择了智能交通方向。3S集成技术是智能交通的核心内容,也是重要的基础。在智能制造里边有先进的制造、先进驾驶、控制系统等等,目前智能汽车非常流行、落地的是ADAS,这是智能交通的内容之一。
我今天主要讲的是复杂环境下,测绘技术怎样在交通领域里面为交通的“十三五”发展目标提供一些解决方案或者提供一些技术支持。
从大的研究背景来说,我的理解是这样的:测绘是个小学科,交通是个大行业,两方面结合作为自己的研究方向。这20年围绕着导航与位置服务,我们在2003年跟一汽做过汽车导航的配套研究,包括当时弄了个“武大导航”的注册商标,为“一汽”做了汽车导航的后装软件、后装系统。
在这个过程中,我们发现地图的测绘和更新是非常难的。大家都知道我们武大搞移动测量,我本人在2000年的时候将激光扫描、相机、GPS集成进行地图信息快速采集与更新。目前最大的问题就是地图快速更新的问题,我们今天讲高精度地图采集,技术难度不是问题,更新才是实实在在的问题。
在这两个基础上,把十年导航的技术成果加十几年移动测量的成果进行集成,2008年开始进行智能驾驶方面的研究,主要还是从测绘的角度、从感知的角度来看看智能驾驶是怎么做的,测绘的技术怎么在智能驾驶应用?这里面有一些感触和经验。
传统的测绘主要是提供地图服务,在现代的测绘之下,除地图产品之外还有很多的增值内容。大家都很熟悉这个背景,我就直接略过去。
这里讲自动驾驶,又有很多人分成无人驾驶、智能驾驶等,还有很多其他的说法。我这里统称为一个名词,就不细分了。背景意义大家也都知道,刚才看到的传统拥堵交通状况下,怎么解决交通的问题、缓解城市的交通困难,特别是提高交通安全,这对中国来说是很重要的问题。
***部说每年的交通死亡人数涉及到汽车驾驶的是五六万人,但是世界卫生组织报道的是大概5-6倍,也就是将近30万人,这应该是准确的数字。从这里来看每年有几十万人相当于一个中小城市的人口就没了,安全问题非常严重。智能驾驶能不能解决安全问题?我想大家应该对此抱有非常大的希望。
这是美国的自动驾驶分级标准,大家也都采用这个,网上也有,也都这样分。包括现在的交通设施是服务人。交通的渠化、交通的地图是为人服务,并不是为机器服务的。
这里面争议最大的是L3级,现在很多的创新企业要越过L3搞L4级、搞全自动驾驶等等的说法。为什么L3级大家不搞、不做了?前年的时候特斯拉有个交通事故,大家都是知道的,最后的鉴定结果是L2级,因为它要求人手不能离开方向盘。因此汽车行业里边规定手是不能离开方向盘,如果手不能离开方向盘自动驾驶就很难受,特别是眼睛要看前方,你可以不操作,但是你人要注意随时接管。
L3级要求是人机共驾,人随时可以介入,机器随时可以介入,到底什么时候人介入?什么时候机器介入?目前很难。不仅仅涉及到人的问题,还涉及到技术难题的问题,目前来说这是无解的。
在无解的情况下,很多人就直接开始搞L4级、搞全自动驾驶。这能不能做?如果我们都有高精度地图,有精确到厘米的地图,在地图定位很准确、汽车技术也很成熟的情况下,我们可不可以实现基于高精度地图的无人驾驶?这个话题现在很热,热到了各行各业都来搞自动驾驶,三五个人弄一个团队开始做自动驾驶。
国外的相关研究发展的非常早。我国从2009年开始学习美国,国家自然科学基金委员会搞了个全国智能驾驶大赛。在这方面我国落后欧美国家将近10年的时间。当然这也不能怪在座的各位,汽车产业本来就是一直扶不起来,扶了这么多年还是依靠国外的核心元器件,从发动机到底盘到变速箱等等。
这是国外的情况。国内其实做得也挺早,我们是国内第一批参加国家重大研发计划“视听觉信息的认知计算”的。目的还不是围绕着无人驾驶,但它把无人驾驶当作了验证平台,通过自动驾驶来验证国家在视觉、听觉方面的计算能力、感知能力。开始预算了8千万,后面增加了一次总体大概1.5个亿左右,大概是8年的时间到今年结束。
我相信大家都知道,国内很多从事无人驾驶的人才,来自这些基金培养的有很多。我就有学生在腾讯做无人驾驶的,也是这样培养出来的。这是当时国内的基本情况,主要的科研单位是以比较有钱的高校为主,因为这个东西特耗钱。
国内第一次举办无人驾驶大赛是2009年,在西安。那时候人比车快,因为车每走一步就要停大概一分钟才能再往前。为什么?没有地图。没有地图后就靠视听觉计算:靠视觉、靠激光,看一下就往前走一步再停下来。那时候没有GPU加速这种东西,而且车很重,设备很贵,没有低于150万的车。武汉大学的车不到10万块钱,但是上面有170万的装备,那些装备都很值钱。2009年这次比赛具有开创性意义,当时没有车厂,也没有互联网企业看重这个,完全是前沿性研究。
2010年的比赛要考查参赛队伍的认知能力,还是没有地图、不能用卫星导航,要通过感知看道路、标牌。赛场在长安大学的某个校区,做了一个封闭环境,当时校区里有汽车的测试场。长安大学是搞公路的,所以在汽车方面有汽车学院,特别是在汽车测试场里面汽车可以撒开跑。但比赛结果也不是特别好,一个S弯有很多车没过;虽然划定了停车位,但是没有地图纯靠感知,大家也很难找到地方;特别是两辆车夹着的时候,当时没有几辆车能够顺利完成。
我们以地图为基础获得了野外比赛第一名。当时,我带着团队直接用地图匹配,不到5公里的测试场,要40分钟完成,结果只有我们武汉大学按时完成了。有的团队是数电线杆,过几个电线杆要转弯,这在地图里面都是很简单的事情。通过地图告诉你目的地在哪,规划一条路径,这是测绘里面最简单的空间分析问题,在当时没有地图的情况下就是很难很难。
这个难度就需要用地图来解决,通过我们测绘的相关技术手段来解决自动驾驶里面的感知问题。因为车载感知设备不是千里眼、也不是顺风耳,只有在传感器感知范围内才能做空间分析这些事情。
2011年的时候,比赛场地不再是限定测试场,而是放到了鄂尔多斯的真实道路上。不过当时做了道路封闭管制车辆,比赛场地变成14公里,难度有所增加。2012年开始进入乡村道路。2013年开始进入高速公路道路,那时候就开始在常熟进行测试,参加单位越来越多,从9家到10家到20多个团队,再到现在很多公司开始介入。
总的来说,自然基金委组织的大赛培养了很多团队,培养了很多人才。我参加这个比赛交流时讲无人驾驶一定要把地图引进去,不能不用地图。地图是一种重要的先验知识,一定会降低感知的难度,可以很好的解决无人驾驶的问题,之后大家都开始接受这个观念。自2011年开始,很多人找我们合作,大家开始用差分定位技术,在比赛之前就开始做赛场地图。专业不专业不好说,但至少有一点,明确了自动驾驶是离不开地图的。
2012年接受《人民日报》采访的时候我提了一句话:无人驾驶并不遥远,记者就把这个作为标题。百度是2013年开始做无人驾驶,当时国内的无人驾驶已从2009年开始发展了很多年,提供了很多经验和参考。刚才刘总说,2020年作为自动驾驶的元年,当年我接受采访时,也是说至少有七八年才可能看到无人驾驶;目前很多地方都在测试无人驾驶,特别是美国的亚利桑那州。从目前来看,2020年自动驾驶元年可能有点早,特别是在乘用车环境方面,说2020年是驾驶的元年可能性不太大。但是有一点,地图在自动驾驶中的作用是越来越大。既然地图有这么大的作用,到底自动驾驶和地图是怎么结合和发展的?我下面讲一讲自己的一些观念。
大家都知道目前主要是两条思路,一个是传统汽车厂、一个是互联网企业。总的来说,目前无人驾驶很热,很多中小创企业进入到了无人驾驶领域,包括一些传统的车企开始切入到智能驾驶领域。
简单地讲一下这块的内容,在我们国家,群智感知和众包服务的地图采集模式,目前在法律层面上还是有些问题。前年华为问我自动驾驶地图可不可以搞?你可不可以帮我们做?我说,法律规定必须有测绘资质才能做。目前国内只有十几家有导航电子地图的生产资质,不是谁想干就可以干,不是技术很牛就可以干,必须有专业资质。
我们地图怎么样更新呢?以前的导航电子地图从传统的一年一次,到一年两次,再到一季度一次,再到互联网“实时”地图,地图从采集到发布的周期越来越短;但从国家目前的法律规定,地图保密审查时间一到两个月时间是要的。所以目前更新频率有极限,速度不可能太快;当然也有便捷的方法,通过快捷的手段来解决,这是产业的事情不是技术上的事情。
大家都熟悉的移动测量,是自动化程度比较高的采集方法。这是高精度地图采集车的情况,目前通过人工智能技术的发展,现在采集的自动化手段是越来越高,包括数据处理,特别是利用深度学习进行模式识别,目标分类的自动化水平是越来越高。所以我们在传统制图方法上面,比如说交通标识、标牌以前是人工识别和编辑方式,现在可以通过人工智能方法来解决,数据处理能力得到了比较大的提升。
但是地图的生产装备还是一个核心问题。我们怎么能低成本、高可靠的解决高精度地图的采集?目前还是一个难题。如果是生产高精度地图,一年投资五六千万肯定是不行,至少每辆车的采集设备,贵的五六百万,便宜的也得一两百万。我们研制开发的高精度数据采集车,也是两三百万的成本。这么高的成本来生产这样一个地图,如果我们的无人驾驶车也要达到这样的一个精度,是不是也要增加一两百万数据采集成本?这种车产量肯定是有限的。
刚才也说了人工智能的问题,现在的人工智能也非常的火,都认为人工智能能解决很多问题。应该说人工智能确实改变了生活,如扫地机器人等,但还有很多的问题没有解决。我们到现在还要通过一百万张、一千万张图片才能保证人工智能能够准确的识别一只猫,那还不如一个小孩,你跟他说一下这是一只猫,他一辈子都记住,不要用那么多图片来增加正负样本的训练。这体现了目前人工智能离人的智能还有很大的差距(人工智能其实很“笨的”,没有足够的样本,它的认知也就有限,就如人一样,随着年龄的增长,社会阅历的增多,认知水平不断提高)。人工智能最主要的三大问题是感知、决策、执行,对我们在座的各位来说,主要是建立场景地图感知问题。当然还有决策、规划和控制的问题。
地图的基本功能除了显示,查询、空间分析、导引服务是目前用的比较多的。我国导航电子地图的发展从2003年的汽车导航开始,到现在ADAS和高精地图的发展过程,总的来说分为三个阶段。
第一阶段大家都用的导航电子地图,大概10米左右的精度。再就是ADAS地图(ADAS是高级辅助驾驶系统的简称),然后是高精度地图,高精地图是车厂提出来的,跟我们传统的地图并不一样。现在测绘行业提出来的高精度地图指的是地图精度、比例尺,跟汽车厂提出的内容明显不一样。我们通过对比可以看到它是汽车驾驶自动化相关的问题,要求汽车行驶方向的横向精度、纵向精度等等,不是传统的测绘地图。
这是高精度地图的作用,是在ADAS里边的基本应用,它可以告诉驾驶人什么时候转弯,转弯的半径是多少,让人可以提前减速,这是比较好的应用。里面的核心内容基本都用这张图解释出来,地图可以进行计算。
我们现在地图是为人服务的,人跟机器到底有什么差异?传统都是把地图先做抽象最后形成地图语言,用地图符号来做。现在机器来模拟人的过程,之间到底应该进行怎么样的人机转换?这应该是我们重点研究的问题,也就是围绕着无人驾驶和机器人,地图应该做怎么样的改进?场景应该做怎么样的调制、设置和变化?这是我们要思考的。
这是高精度地图的基本特征。除了精度高之外还要增加一些内容,我们才能做无人驾驶的应用。无人驾驶要增加的内容包括红绿灯的信息和动态交通信息。目前车厂做的环境感知解决方案,借用一个词叫“洪荒之力”来实现地图场景的构建。无人驾驶汽车厂商都通过各种传感器组合来实现汽车周边感知的无缝覆盖,但有这么多的传感器依然解决不了无人驾驶的环境感知问题(测程外、遮挡),因此说地图在这里面作用是非常明显。
但遗憾的是在地图采集过程中有很大难度。比如说福特公司的自动驾驶地图生产时,图上道路破损人看很明显,地图生产的时候当作道路缺陷处理,当把这样结果的高精度地图跟其他车共享时就出现了一个问题:所有自动驾驶测试车在这个地方都有避让的动作,实际上这个破损的地方过了几天之后就修好了,但是地图没有做更新。这是一个像素引发的问题,类似的问题很多。现在我们国家公路建设、城市建设日新月异,例如在武汉修地铁,今天还可以走的路,明天就不可能不能走了。地图怎么更新?既然是高精度地图,路上增加了栏杆或者引导标志时无人驾驶车识别不了怎么办?这就会导致很危险的安全问题。
(PPT图片)左边是特斯拉的撞车事故,这还是比较简单的场景。如果像右边这样的交通现状,这种环境下怎么解决自动驾驶?目前肯定是解决不了,只要我们的交通设施是为人服务的话,这个问题始终解决不了。我认为如果交通设施和渠化始终是为人定规则,然后让自动驾驶来适应各种交通规则和场景,全自动驾驶是永远不可能实现。
那么如何才能实现?如果哪一天人为机器人让路,看到机器人就主动避让,这个问题解决起来就快了。当然机器人也要保证能够识别道路、识别地图。毕竟人的交通行为善变,在方向是全***度的,车不可能一下子飞起来,不可能一下子左边,它有转弯半径和方向的约束。所以,解决自动驾驶问题就要改变交通规则。
今年5月份,我们刚才讲到的Mobileye跟英特尔搞自动驾驶的新闻发布会,可惜的是自动驾驶车红绿灯都没有认出来。明明是红灯,大家看到它就没识别直接闯红灯过去了。目前,每年无人驾驶比赛时,红绿灯识别率都不高,60%的成绩已经算很好了,70%基本上可以拿到最好的成绩。因为我们的红绿灯有圆的、方的、左边的、右边的、横着的、竖着的等等,红绿灯都识别不了自动驾驶怎么可能实现?这是基本交通规则。
在这种情况下,利用现有人工智能技术实现自动驾驶还早的很。2020年左右称为驾驶元年可能会乐观了点。说到地图,至今已经有几千年的历史,我们在座的各位也是做了多年地图的,那么无人驾驶到底应该用什么样的地图?有专家针对“自动驾驶的地图”提出“驾驶地图”的概念,驾驶地图很绕口,测绘里也没有这个概念。我提出“场景地图”,无人驾驶是按照场景走,我把这个概念描述一下,什么是场景地图。
左边是个场景,现在习惯的是按右边渠化,把它全部拿来数字化。能不能基于左边的影像直接实现无人驾驶?人是可以很清楚的,在这种场景下驾驶是安全的。以前喝点小酒开车回家也可以,事后不知道怎么回家的,停的好好的,路上的事全忘掉了,没有复杂的计算也开回去了。这里边有多少任务识别、人工智能?我感觉是没有的,因为怎么回家的我忘了,车停在哪里我忘了,第二天到处找车。现在不能酒驾,也没有这种体验了。
图片上场景里边信息很丰富,而且信息也很清晰,应该怎么走,交通规则很清楚,下面车道线划的也很清楚,遮挡等问题也存在。针对这个场景我们自动驾驶应该怎么样去做?如果靠人工智能实现左边的驾驶分析、地图匹配等等,至少目前的情况下全自动是做不出来的。大家不要把人工智能看得非常牛,什么都能解决,不是这样,技术还没有发展到这种程度。
在这种情况下,我就做了一个表来进行比较,这个表还在逐步完善中。这里面有大家经常会提到的ADAS地图、高精度地图等,我要重点讲的是场景地图。首先,场景地图是相对坐标系,可以有绝对位置。我们在交通中用的主要是线性参考系统,没有用平面坐标和经纬度。从空间认知来讲也是三要素:基准、方向跟距离解决了位置的定位问题。
除了参照坐标体系之外,还有纵向跟横向的定位问题,开车里面最关心的是横向,不能随意到其他车道去,不能到对面的车道去。纵向上多一点误差,误差几米、十几米都没有关系。我们要关心车头时距,交通里面标准,车辆刹车的时间距离是多少?把这个问题解决了就好了。在结构化道路里有车道线,通过低成本的视觉就可以解决高精度的横向定位问题。我们要正确的面对、正确的对待自动驾驶的地图精度问题。到底是需要高精度地图、高精地图,还是需要什么样其他的?这个问题大家都在关注和研究。
怎么应用?大家都很熟悉。当然有高精度地图是好,在高精度地图的情况下通过测绘技术能很好地实现车辆的定位定姿,这是好处。但是,这样做的代价跟其他技术问题怎么解决?
这是Mobileye的一个方案,实际上有很多的方案。当前深度学习、机器视觉的算法离人的智能差距还非常大。这里展示了团队的研究成果。怎样基于地图来定位?基于各种传感器来定位?基于方向盘来定位?怎样基于ADAS来进行无人驾驶?这个图片大家都熟悉,怎样解决场景中目标的语义,目标的语义表达还做不到实时,要事后处理。总的来说,还是从模拟人的驾驶角度做了无人驾驶的技术研究。
讲了这么多,做一下总结和展望。如果说2020年还做不到大众化的自动驾驶,现在有哪些方面能够快速做到优先落地?首先讲这三个场景,在3S场景下(小、特、慢)能够实现这样的无人驾驶,现在很多做落地的基本上都是3S的场景。
机器人怎么来做自动行驶?我们开发的这个机器人上面是没有卫星信号的,而是基于地图、基于车道线进行识别,虽然它目前跑得还不怎么样,但是成本很低,两三万块钱基本就解决了自动行驶。
还有一个方式,既然现有传感器还解决不了自动驾驶汽车的环境感知问题,那我们可不可以基于基础设施的信息化、网联来实现环境感知问题?这是863车路协同提出的解决方案,通过信息化解决基础设施感知、认知问题,通过通信方式解决红绿灯识别、交通标志识别等内容,通过信息交互而不是通过图像识别解决认知问题(什么意思,路口摄像头(摄像头中有物联网芯片)拍到汽车牌照,汽车中控也有物联网芯片,摄像头根据车牌号(车牌号登记在车管所,绑定对应汽车中控)发送消息给汽车中控,现在是红灯,请停车等候,或现在是绿灯,请通行。这样比通过图像识别红绿灯效率更高 。而未来几年5G时代马上到来,也就意味着万物互联时代IOT的来临)。
这是一个解决方案,由于时间的问题,先讲到这。我的观念主要是自动驾驶应该是使用场景地图,要通过地图的信息来降低感知的难度,通过传感器的感知来降低对地图精度的要求。今天我主要分享了一些我的研究成果和观念,总的感觉自动驾驶任重道远。谢谢!
.........更多信息请关注我的公众号
一位更懂IT的GISER,一位更懂GIS的IT