超强实时人像抠图算法开源，随心所欲背景替换！

谈到人像抠图想必大家都不陌生。在影视剪辑、直播娱乐、线上教学、视频会议等场景中都有人像分割的身影&＃xff0c;它可以帮助用户实时、精准地将人物和背景精准识别出来&＃xff0c;实现更精细化的人物美颜、背景虚化替换、弹幕穿人等&＃xff0c;进一步提升视觉应用体验。

人像抠图的场景可谓无所不在&＃xff01;然而现实中用户使用的终端多种多样&＃xff0c;图片的输入组成也是千奇百怪&＃xff0c;那么有没有好的方案让能够使用户在多个平台都获得好的体验效果呢&＃xff1f;

小编遍历了Github&＃xff0c;终于为大家找到了一个高性能且支持多端部署的人像抠图技术的解决方案PP-Seg&＃xff0c;它不仅仅提供了多种精度的模型&＃xff0c;并针对服务端、移动端、Web端多种使用场景进行了不同的优化&＃xff0c;都获得超群的效果。

听了这么多的介绍&＃xff0c;大家是不是想尽快尝试一下呢&＃xff1f;小编赶紧贴上链接&＃xff0c;记得Star收藏一下防止走丢哦&＃xff1a;

https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.2/contrib/PP-HumanSeg

那么&＃xff0c;这个PP-HumanSeg到底提供了什么呢&＃xff1f;

小编仔细研究了一下&＃xff0c;发现PP-HumanSegl开源了三个高质量的人像分割模型&＃xff1a;有应用于服务端GPU部署的PP-HumanSegl模型&＃xff0c;有适用于移动端的轻量PP-HumanSeg模型&＃xff0c;还有能够在浏览器部署的超轻量模型PP-HumanSegs模型。

同时&＃xff0c;为了用户能够在各种平台上部署&＃xff0c;提供了服务端部署、移动端、浏览器端的部署方式。

同时小编看到文档上写有“百度视频会议”上线的虚拟背景功能&＃xff0c;就是基于PP-HumanSeg中提供的PP-HumanSegs超轻量人像模型来实现的&＃xff0c;并且Github上也提供了全套的部署方式。

WOW&＃xff01;也就是说互联网企业使用的虚拟背景整套技术竟然被开源出来了&＃xff0c;这也太好了吧&＃xff01;&＃xff01;&＃xff01;&＃xff01;

小编赶紧前去体验了一下&＃xff0c;效果真不错&＃xff0c;也欢迎感兴趣的小伙伴前去百度首页体验。

看到这么好的技术&＃xff0c;有的小伙伴们会比较关注技术上是怎么实现的&＃xff0c;那么我们就一起来糠糠吧&＃xff01;

大规模数据合成和数据增强

在训练集里有各种比例的图片&＃xff0c;有横屏的&＃xff0c;有竖屏的。如果直接直接使用缩放变形等数据增强方式&＃xff0c;会直接导致形变失真&＃xff0c;反而不会提升精度。针对此类问题&＃xff0c;采用维持图像纵横比缩放、Padding补齐等方式缩放图像达到原图比例。通过这些方式处理后图像不会失真&＃xff0c;训练精度也得到了提升。

针对人像标注样本少的问题&＃xff0c;使用标注信息和背景图合成的方式进行数据生成&＃xff0c;数据量的扩充提升了模型的精度。

轻量级网络设计方式

对于移动端和网页端的人像分割&＃xff0c;一个高效的轻量级网络必不可少&＃xff0c;在这里为大家总结了一些轻量化关键设计方法。

关键一&＃xff1a;深度可分离卷积

深度可分离卷积是一种卷积分解方式&＃xff0c;将普通卷积分解为Depthwise Convolution和Pointwise Convolution&＃xff0c;主要的目的是减少计算量和参数量&＃xff0c;此方式已被广泛应用在轻量级卷积网络中。

关键二&＃xff1a;Channel Shuffle&＃xff08;通道洗牌&＃xff09;

在深度可分离卷积中用到的Depthwise Convolution会将所有的channel分组&＃xff0c;每个channel分为一组&＃xff0c;这就导致组与组之间无信息交换。Channel Shuffle通过对group convolution之后的特征图进行“重组”&＃xff0c;可以保证接下了采用的group convolution输入来自不同的组&＃xff0c;因此信息可以在不同组之间流转。

关键三&＃xff1a;Skip-connection&＃xff08;跳跃连接&＃xff09;

对于分割任务&＃xff0c;空间域信息非常重要。主流的分割网络均采用encoder-decoder结构。网络的encoder部分通过下采样层把特征图分辨率降得非常小&＃xff0c;这一点不利于精确的分割mask生成&＃xff0c;通过skip-connection跨层连接编码器和解码器&＃xff0c;更利于生成精细的mask。Skip-connection直接复用encoder的特征&＃xff0c;几乎不增加计算量&＃xff0c;性价比非常之高&＃xff01;

关键四&＃xff1a;上采样方法

Decoder的主要目的是将低分辨率信息的特征恢复到高分辨率。为了实现这个目的就需要上采样。常用的上采样方式有四类&＃xff1a;转置卷积、反池化、插值、亚像素卷积。

当使用转置卷积进行上采样的时候&＃xff0c;容易出现棋盘效应&＃xff08;左图肩膀处&＃xff09;。开发团队为平衡计算量、显存占用和效果&＃xff0c;最终采用深度可分离卷积&＃43;双线性插值&＃xff0c;在保持高效计算的同时解决了棋盘效应问题。

综合考虑上述四个关键&＃xff0c;开发团队设计了Web端超轻量级模型PP-HumanSegs。

优化损失函数 解决类别不均衡

人像在整张图片中所占的比例往往较小&＃xff0c;存在前景背景类别占比不均衡的问题。常用的Cross Entropy Loss会公平处理正负样本&＃xff0c;当出现正样本占比较小时&＃xff0c;就会被更多的负样本淹没。通过改变损失函数&＃xff0c;使用Lovasz loss来降低正负样本不均衡的问题。

光流后处理优化

视频分割存在一个问题&＃xff1a;视频帧间不连贯&＃xff0c;边缘部分闪烁严重&＃xff0c;为此研发团队利用时序信息结合光流法&＃xff0c;对分割结果进行优化。采用光流解决方法&＃xff0c;将光流预测结果与分割结果进行融合&＃xff0c;这样就可以参考上一帧的运动信息&＃xff0c;使得前后帧变换相对更加稳定&＃xff0c;减少边缘的闪烁。

心动不如行动&＃xff0c;大家可以直接前往Github地址获得完整开源项目代码&＃xff0c;记得Star收藏支持一下哦&＃xff1a;https://github.com/PaddlePaddle/PaddleSeg