Stylegan3editing:未对齐的图像也能反演编辑？

title

Third Time’s the Charm? Image and Video Editing with StyleGAN3

author

Yuval Alaluf

Link

论文地址

Code

StyleGAN is arguably one of the most intriguing and well-studied generative models, demonstrating impressive performance in image generation, inversion, and manipulation. In this work, we explore the recent StyleGAN3 architecture, compare it to its predecessor, and investigate its unique advantages, as well as drawbacks. In particular, we demonstrate that while StyleGAN3 can be trained on unaligned data, one can still use aligned data for training, without hindering the ability to generate unaligned imagery. Next, our analysis of the disentanglement of the different latent spaces of StyleGAN3 indicates that the commonly used W/W&＃43; spaces are more entangled than their StyleGAN2 counterparts, underscoring the benefits of using the StyleSpace for fine-grained editing. Considering image inversion, we observe that existing encoder-based techniques struggle when trained on unaligned data. We
therefore propose an encoding scheme trained solely on aligned data, yet can still invert unaligned images. Finally, we introduce a novel video inversion and editing workflow that leverages the capabilities of a fine-tuned StyleGAN3 generator to reduce texture sticking and expand the field of view of the edited video.

作者研究分析了Stylegan3的结构&＃xff0c;并与之前的结构进行比较&＃xff0c;调查了其独特的优点和缺点。通过实验证明了&＃xff1a;虽然Stylegan3可以用未对齐的数据训练&＃xff0c;但仍然可以使用对齐的数据训练&＃xff0c;而且不会妨碍模型生成未对齐图像的能力。

作者通过在Stylegan3 不同潜空间的解耦分析&＃xff0c;发现Stylegan3下的 W/W&＃43; 空间比 Stylegan2 对应的空间更纠缠&＃xff0c;由此提出了使用 StyleSpace 进行细粒度编辑的好处。&＃xff08;本文提出的一种潜空间&＃xff09;

作者发现通过未对齐的数据训练编码器时&＃xff0c;技术会遇到困难。作者实验发现&＃xff1a;即使单独训练对齐数据&＃xff0c;仍然可以反转未对齐的图像。最后&＃xff0c;作者引入了一种新颖的视频反转和编辑工作流程&＃xff0c;它利用finetuned的Stylegan3 生成器的功能来减少纹理粘连并扩展已编辑视频的视野。

Stylegan3结构分析

在mapping network部分&＃xff0c;并无变化&＃xff0c;通过全连接网络将初始latent code z ~N(0,1) [512] 转换成w&＃xff0c;并加入可学习的latent space W。

与Stylegan2相比&＃xff0c;Stylegan3的synthesis network由固定数量的卷积层构成&＃xff0c;与输出图像分辨率无关。Stylegan2中的constant 4*4被傅里叶特征&＃xff08;Fourier feat&＃xff09;取代&＃xff0c;其中四个参数&＃xff08;sin a , cos a , x , y&＃xff09;通过学习仿射层从w0获取。在剩下的层中&＃xff0c;每个wi被送入一个独立的学习仿射层&＃xff0c;产生的modulation factors用来调整卷积核权重。

在Stylegan2中&＃xff0c;这些仿射层输出所跨越的空间被称为StyleSpace&＃xff08;S空间&＃xff09;&＃xff0c;本文中我们类似地定义了Stylegan3的S空间。

由于生成图像的平移、旋转是由w0中特定参数控制得到&＃xff0c;所以很容易通过一些其他的变换来生成结果。作者提出了一种transformation&＃xff1a;
y&＃61;G(w;(r,tx,ty))y &＃61; G(w;(r,t_{x},t_y)) y&＃61;G(w;(r,tx​,ty​))
它甚至可以应到到仅由aligned data训练的生成器中&＃xff0c;使其可以生成平移或旋转的图像。

而相对的&＃xff0c;在unaligned data训练的生成器&＃xff0c;可以将w0设置成平均latent code w&＃xff0c;来强制生成大致对齐的图像。作者认为这可能由于以下原因&＃xff1a;&＃xff08;1&＃xff09;训练的数据分布中平均姿态大致对齐和居中&＃xff08;2&＃xff09;Stylegan3中的平移和旋转变换主要由第一层控制&＃xff0c;而Stylegan3设计的核心是等方差性&＃xff1a;早期层的平移或旋转会被保留&＃xff0c;然后在结果中才出现。&＃xff08;所以才会大致对齐&＃xff09;

Analysis

Rotation Control

作者进行了一系列实验&＃xff0c;发现只改变w1时&＃xff0c;会影响最终生成的图像的旋转情况&＃xff0c;而当固定w0和w1时&＃xff0c;最终生成的图像都具有相同的头部姿势。因此作者认为平移和旋转主要有w0和w1控制&＃xff0c;后续层不会进一步影响。

Disentanglement Analysis

作者同样进行了一些实验&＃xff0c;发现了在Stylegan3中S空间更加解纠缠。

Image Editing

作者实验了在不同潜空间编辑的效果&＃xff08;w / w&＃43; / s&＃xff09;

在w空间&＃xff0c;作者使用Interfacegan来寻找linear directions&＃xff0c;对于aligned数据&＃xff0c;编辑过程和Stylegan2很类似&＃xff0c;而对于unaligned数据&＃xff0c;作者提出了两种方法&＃xff1a;

&＃xff08;1&＃xff09;使用在aligned数据上预训练的属性分类器来寻找unaligned数据属性的directions&＃xff0c;但这样会存在一些问题&＃xff0c;比如分类器在unaligned数据上得分可能不准确&＃xff0c;导致生成的directions没效果&＃xff0c;同时如果使用unaligned生成器&＃xff0c;可能会需要很多独立的directions集合。

&＃xff08;2&＃xff09;使用aligned生成器来生成数据&＃xff0c;然后使用一些用户定义的transformations来完成平移和旋转。

实验发现&＃xff1a;&＃xff08;1&＃xff09;通过在aligned数据训练的分类器&＃xff0c;在unaligned数据中分类分数不够准确&＃xff0c;导致伪对齐的图像始终处于域外&＃xff08;2&＃xff09;编辑线性空间方向很难解纠缠

在w&＃43;空间&＃xff0c;之前的一些工作证明了在w&＃43;空间非线性编辑会产生更加真实、令人信服的解纠缠的图像&＃xff0c;作者使用了StyleClip进行实验&＃xff0c;发现在Stylegan3中表现不好&＃xff0c;仍然无法很好的解纠缠。

基于以上原因&＃xff0c;作者开始探索S空间&＃xff0c;并发现S空间相较于W、W&＃43;空间解纠缠。

Stylegan3 Inversion

Designing the Encoder Network

为了能够encoding aligned and unaligned数据&＃xff0c;反演策略必须支持这两种输入类型。

如何encoding unaligned images&＃xff1f;

作者选择利用在aligned data上训练的生成器来设计一个仅在aligned data上训练的encoder。如上文所示&＃xff0c;这种方案可用于编辑和生成aligned and unaligned图像。而且&＃xff0c;利用这种方案&＃xff0c;编码器不需要正确捕获unaligned image的高度和姿势&＃xff0c;简化了训练目标&＃xff0c;使其可以专注于捕获输入身份和其他图像特征。

给定一个通过aligned images训练的encoder&＃xff0c;如何扩展它使其能够encoding和editing unaligned images&＃xff1f;假设给定一张xunalignedx_{unaligned}xunaligned​&＃xff0c;计算它和 xalignedx_{aligned}xaligned​的平移旋转差异&＃xff0c;生成(r,tx,ty)(r,t_{x},t_{y})(r,tx​,ty​)&＃xff0c;最终反演方案&＃xff1a;
waligned&＃61;E(xaligned)yunaligned&＃61;G(Waligned;r(r,tx,ty))w_{aligned} &＃61; E(x_{aligned})\\ y_{unaligned} &＃61; G(W_{aligned};r(r,t_{x},t_{y})) waligned​&＃61;E(xaligned​)yunaligned​&＃61;G(Waligned​;r(r,tx​,ty​))

Inverting Images into StyleGAN3

作者使用了如上的反演方案来测试对比&＃xff0c;encoder选用了RestylepspRestyle_{psp}Restylepsp​和Restylee4eRestyle_{e4e}Restylee4e​。

定性评价 Stylegan3 encoder和Stylegan2 encoder视觉上对应&＃xff0c;而且Stylegan3可以忠实的再现输入位置。

定量评价 除了推理时间&＃xff0c;加入了ID、L2距离等来做评价。Stylegan3 encoder的性能稍差。

通过潜在空间操作的可编辑性

Restyle_e4e encoder实现了真实而有意义的编辑&＃xff0c;同时保留了输入身份&＃xff0c;相较于Restyle_psp&＃xff0c;重建质量更高。两者在Stylegan3之间的差距比Stylegan2要大。&＃xff08;观察第二行最后&＃xff0c;psp会产生很大的伪影&＃xff09;

Inverting and Editing Videos

这一块不作描述&＃xff0c;感兴趣的话可以阅读论文。