PPLiteSeg重磅开源！高精度轻量级图像分割SOTA模型

图像分割技术在医疗病灶分析、自动驾驶车道线分割、绿幕人像抠图等领域发挥着举足轻重的作用。相比目标检测、图像分类等技术&＃xff0c;图像分割需要将每个像素点进行分类&＃xff0c;在精细的图像识别任务中不可替代。

图1 图像分割应用

然而在实际产业落地过程中对算法的要求是苛刻的。在保障高识别精度的情况下&＃xff0c;往往会牺牲算法运行速度&＃xff1b;反之追求速度&＃xff0c;则会带来精度的大幅度损失。

图2 各算法速度与精度平衡情况示意

因此&＃xff0c;产业及学术界翘楚都竭力探索能同时实现速度和精度平衡、在当前云、边、端多场景实现高效协同的优秀算法。而PP-LiteSeg凭着mIoU 72.0、273.6 FPS&＃xff08;Cityscapes数据集&＃xff0c;1080ti&＃xff09;的超优秀性能&＃xff0c;超越当前CVPR SOTA模型STDC&＃xff0c;在众多优秀算法中脱颖而出&＃xff0c;真正实现了精度和速度的最佳均衡。

图3 PP-LiteSeg精度/速度说明

行动力超强的小伙伴一定早已迫不及待了吧

识趣的小编赶紧送上传送门&＃xff1a;

https://github.com/PaddlePaddle/PaddleSeg

记得Star收藏支持&＃xff01;

更值得令人惊喜的是&＃xff0c;PP-LiteSeg不仅在开源数据集评测效果优秀&＃xff0c;在产业数据集也表现出了惊人的实力&＃xff01;例如在质检、遥感场景&＃xff0c;PP-LiteSeg的精度与高精度、大体积的OCRNet持平&＃xff0c;而速度却快了近7倍&＃xff01;

图4 PP-LiteSeg和OCRNet在某工业质检数据集识别情况对比

图5 PP-LiteSeg和OCRNet在deepglobe数据集识别情况对比

那PP-LiteSeg为何可以拥有这么优秀的效果呢&＃xff1f;

PP-LiteSeg提出三个创新模块&＃xff1a;灵活的解码模块&＃xff08;FLD&＃xff09;、注意力融合模块&＃xff08;UAFM&＃xff09;、简易金字塔池化模块&＃xff08;SPPM&＃xff09;。FLD灵活调整解码模块中通道数&＃xff0c;平衡编码模块和解码模块的计算量&＃xff0c;使得整个模型更加高效&＃xff1b;UAFM模块效地加强特征表示&＃xff0c;更好地提升了模型的精度&＃xff1b;SPPM模块减小了中间特征图的通道数、移除了跳跃连接&＃xff0c;使得模型性能进一步提升。

图6 PP-LiteSeg 模型结构和优化点

正是基于这些模块的设计与改进&＃xff0c;最终PP-LiteSeg超越其他方法&＃xff0c;在1080ti上精度为mIoU 72.0时&＃xff0c;速度高达273.6 FPS , &＃xff08;mIoU 77.5 时&＃xff0c;FPS为102.6&＃xff09;&＃xff0c;实现了精度和速度的SOTA平衡。更多关于PP-LiteSeg的内容&＃xff0c;请参考&＃xff1a;

https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.5/configs/pp_liteseg

直播课预告

为了让开发者们更深入地了解PP-LiteSeg这个SOTA模型&＃xff0c;解决落地应用难点&＃xff0c;掌握产业实践的核心能力&＃xff0c;飞桨团队精心准备了精品直播课&＃xff01;

4月26日20:30&＃xff0c;百度资深高工将为我们详细介绍精度和速度的SOTA平衡的PP-LiteSeg&＃xff0c;对各类型SOTA模型的原理及使用方式进行拆解&＃xff0c;之后两天还有分割拓展应用梳理及产业案例全流程实操&＃xff0c;对各类痛难点解决方案进行手把手教学&＃xff0c;加上直播现场互动答疑&＃xff0c;还在等什么&＃xff01;抓紧扫码上车吧&＃xff01;

引用说明:

图1:

• 辅助驾驶图片来源百度地图APP AR导航截图

• 3D分割数据集来源于MRISpineSeg spine dataset

• 人像抠图源于百度飞桨内部工作人员

• 合作伙伴提供质检数据样例

• 遥感图像源于deepglobe数据集

图4&＃xff1a;

• 合作伙伴提供质检数据样例

图5&＃xff1a;

• deepglobe数据集

关注【飞桨PaddlePaddle】公众号

获取更多技术内容~