关于人工智能:如何在有限算力下实现智能驾驶多任务高精度识别

近几年，随着主动驾驶、车路协同等概念的日益炽热，地图厂商、传统汽车厂商以及有互联网背景的“造车新权势”纷纷退出了智能降级的摸索之路。为了使智能驾驶更平安更牢靠，实现高精度、实时感知周围环境的技术至关重要，该技术不仅能够精准疾速地辨认车道线、行驶区域、行人、车辆等，而且将车辆行驶路线“画”在高空，为驾驶人员提供车距监测、行人预警、车道偏离揭示和红绿灯揭示等一系列平安辅助性能，助力驾驶零碎进行高效的决策。

图1 百度地图AR导航性能展现

但在实在产业中，要实现高精度的驾驶环境感知不是一件容易的事，在理论的路况中存在着各种各样的问题：

• 摄像头采集到的图像会受到树木、修建遮挡以及车辆挪动的影响；
• 天气多种多样，要适应白天、黑夜、雾天和雨天等；
• 车道线磨损水平不一，且不同区域的车道线新旧对辨认也有很大的影响。

针对上述场景，本次飞桨产业实际范例库基于实在场景中的车载影像数据，推出了指标检测和车道线宰割多任务处理的智能驾驶感知实际示例，提供从数据筹备、技术计划、模型训练优化，到模型部署的全流程可复用计划，无效解决了不同光照、不同天气等室外简单环境下的指标辨认问题，实用于AR地图导航、机器人教育、厂区主动巡检、主动驾驶等多个产业利用。

⭐我的项目链接⭐

https://github.com/PaddlePaddle/awesome-DeepLearning

所有源码及教程均已开源，欢送大家star激励~

基于深度学习

实现驾驶环境感知

基于深度学习实现驾驶环境感知要对机动车、非机动车、行人以及交通信号灯(红灯, 黄灯, 绿灯,灭灯) 这7类对象进行指标检测, 同时对实车道线、虚车道线和斑马线3类指标进行宰割, 并且要求检测速度不低于20 fps能力进一步端侧移植，因而，如何在无限算力下实现多任务的高精度辨认将会是驾驶环境感知利用最外围的问题。

图2 场景辨认指标阐明

我的项目难点

数据难： 同一个指标（标签）在不同的环境下出现的状态差别大，如实车道线和虚车道线在城乡结合区域难以辨别；数据存在小样本和样本不平衡的问题，车辆行人标签多，红绿灯数据绝对较少。

工作多：须要同时解决检测和宰割两个工作，选模型和优化时要衡量精度与速度两方面。

效率高： 模型要尽量小，训练与预测速度要尽量快，在V100的平台至多实现20fps能力端侧移植。

我的项目计划

针对上述难点，通过对模型性能精度和速度的思考，最终选用了飞桨指标检测套件

PaddleDetection中的PP-YOLOv2和飞桨图像宰割套件。PaddleSeg中的HardNet模型作为Baseline模型进行相应的优化，应用多过程异步解决，进一步晋升了部署性能。

图3 baseline模型抉择策略

计划优化

本次算法设计同时围绕计算效率、不平衡问题、小指标散布、模型稳定性四个方面开展，并针对实在路线场景进行解决。

图4 场景阐明

检测模型优化历程

数据处理：

1、数据为车载记录仪拍摄的路线画面，其指标均为交通指标，尺寸和比例绝对稳固，但常常会受到光照、传感器噪声等因素影响，偶然还会呈现静止含糊，为此在数据加强过程中，调整RandomDistort（随机像素替换） 中参数hue、saturation、contrast、brightness范畴由到[0.8, 1.2]，从而使得模型收敛效率显著晋升。

2、为了进步模型的泛化能力，针对车载摄像头的场景，在训练全过程中随机退出albumentations库中的JpegCompression(降画质) 、MotionaBlur(静止含糊)、RandomBrightnessContrast(亮度对比度)等数据加强的办法。

图5 数据加强策略阐明

模型构造优化：

1、模型检测头复现，应用飞桨复现YOLOX Decoupled Head，相比之前的YOLOX Head检测精度晋升了2%。

图6 不同检测头的精度比照

2、在PP-YOLOv2的Matrix nms的处理结果之后减少merge nms，减少保留框地位平滑策略(重叠框地位信息求解平均值)，使框的地位更加准确。

图7 更换nms后地位精度示意

宰割模型优化

1、因为我的项目中数据为车载记录仪拍摄的路线画面，宰割的语义都是高空标识，所以在大小、尺寸、色调方面都绝对稳固，因而数据加强不须要太多，只须要能体现肯定的变化规律即可，同时为了防止随机裁剪过程中导致实车道线和虚车道线产生混同，因而在数据中去掉了随机裁剪的数据加强形式。

2、调整模型分辨率:HardNet 1024 (w) 1024(h) ->1056(w) 608(h)，训练采纳多尺度 。

我的项目成果

通过一系列的优化，模型实现了对驾驶过程中的机动车、行人、红绿灯、车道线等指标的辨认，最终整体辨认精度达到85% 。

图8 成果展现阐明

部署优化

一开始应用模型串联的模式，先进行宰割的后处理，但工夫不满足要求。通过进一步优化部署，最终采纳多线程的形式加载模型并行预测，实现了高效部署，最终在v100服务器达到了22fps，满足端侧移植的条件。

图9 推理流程阐明

部署方面应用飞桨原生推理库PaddleLite进行部署，满足用户批量预测、数据安全性高、提早低的需要，疾速在本地实现部署计划，以后部署计划曾经公布，欢送小伙伴们应用尝试。

图10 安卓app示范

产业实际范例教程

助力企业逾越AI落地鸿沟

飞桨产业实际范例，致力于减速AI在产业落地的后退门路，缩小实践技术与产业利用的差距。范例来源于产业实在业务场景，通过残缺的代码实现，提供从数据筹备到模型部署的计划过程解析，堪称产业落地的“主动导航”。

• 实在产业场景： 与理论具备AI利用的企业单干共建，选取企业高频需要的AI利用场景如智慧城市-安全帽检测、智能制作-表计读数等；
• 残缺代码实现： 提供可一键运行的代码，在“AIStudio一站式开发平台”上应用收费算力一键Notebook运行；
• 具体过程解析： 深度解析从数据筹备和解决、模型抉择、模型优化和部署的AI落地全流程，共享可复用的模型调参和优化教训；
• 中转我的项目落地： 百度高工手把手教用户进行全流程代码实际，轻松中转我的项目POC阶段。

精彩课程预报

为了让小伙伴们更便捷地实际和利用驾驶环境感知，百度飞桨产品经理将于3月17日20:30-21:00为大家深度解析从数据筹备、方案设计到模型优化部署的开发全流程，手把手教大家进行代码实际。

欢送小伙伴们扫码进群，收费获取直播课和回放视频链接，更有机会取得笼罩智慧城市、工业制作、金融、互联网等行业的飞桨产业实际范例手册！ 也欢送感兴趣的企业和开发者与咱们分割，交换技术探讨单干。

点击立刻报名