分享自己的第一篇ECCV工作：可控头发编辑CtrlHair

第一篇三大会的工作&＃xff0c;超级开心&＃xff01;

Xuyang Guo, Meina Kan, Tianle Chen, Shiguang Shan

详细的内容请看Github的项目页&＃xff0c;包括动图结果、论文、工具使用方法和代码

头发具有复杂的几何信息和材质&＃xff0c;这使得头发编辑成为人像编辑中的一个重要且有难度的任务。现有的编辑方法可以通过给定参考图像、绘制头发分割图或用笔画引导的方式进行编辑。然而&＃xff0c;当用户没有提供参考图像、或者头发分割区域很难绘制时&＃xff0c;现有方法无法编辑。基于此&＃xff0c;我们提出了一种有效的可控编辑方法。该方法可以通过一组滑动控制条&＃xff0c;进行连续、细粒度语义的头发编辑。此外&＃xff0c;该方法也能很自然地兼容给定参考图像、绘制头发分割图的方式进行编辑。具体地&＃xff0c;我们提出了一个具有多元高斯解耦模块的生成对抗网络。首先&＃xff0c;通过一个编码器将头发颜色、纹理和形状这三个主要属性进行分解&＃xff0c;得到每个属性的隐编码表示。这些隐编码表示被各自建模为标准多元高斯分布&＃xff0c;从而使属性的每个维度都可以连续精细地变化。由于隐编码直接服从高斯分布&＃xff0c;所以任何通过滑动控制条、给定参考图像、绘制形状分割图的编辑方式都可以支持&＃xff0c;这使得和用户之间的交互灵活友好。最后&＃xff0c;给定修改后的隐编码表示&＃xff0c;解码器输出一个带有编辑后头发的人像。实验表明我们的方法可以连续、单独地编辑每个属性的多个语义维度。

总体而言&＃xff0c;本文的主要贡献如下&＃xff1a;

• 1&＃xff09;提出了一种具有多元高斯分布解耦的生成对抗网络&＃xff0c;使用户可以通过一组滑动控制条、提供参考图像或绘制形状分割图来进行连续、细粒度的头发编辑&＃xff1b;
• 2&＃xff09;为使编辑后的头发和原有人像的其他区域保持和谐真实&＃xff0c;针对形状属性&＃xff0c;我们专门设计了一个基于学习的形状适配器&＃xff0c;用于自动对齐头发和脸部区域&＃xff0c;并修复因形状变化而需要补全的区域&＃xff1b;
• 3&＃xff09;实验表明&＃xff0c;我们的方法可以连续、单独地编辑每个属性的多个维度。在发型迁移任务上也取得了与现有方法可比的结果