AI服装生成，帮你完成服装设计的最后一步

本文已在飞桨公众号发布&＃xff0c;查看请戳链接&＃xff1a;
AI服装生成&＃xff0c;帮你完成服装设计的最后一步

如何用AI赋能服装设计行业&＃xff0c;这是飞桨开发者技术专家洪力一直在思考的事。设计师构思并绘制出一件衣服后&＃xff0c;如果可以一键生成衣服整体的效果&＃xff0c;就可以帮助其根据成品的版型、款式等因素做出更好的设计。项目的基本思路确定以后&＃xff0c;洪力在AI Studio平台使用飞桨框架开始实践。目前本项目可以实现服装生成&＃xff0c;期待与更多开发者一起探讨更多可优化的地方&＃xff08;例如设计呈现的多样性&＃xff09;&＃xff0c;以下是洪力的分享。

项目背景

为了确立服装生成项目的基本设计目标&＃xff0c;我需要寻找相关的技术。服装生成任务和其他生成任务区别之一&＃xff0c;就是要求输出一个“干净”的衣服&＃xff0c;不能出现花里胡哨的背景——也即要求生成器把注意力放在衣服上&＃xff0c;而不是生成出一个完整的图片。因此在loss设计的部分&＃xff0c;我考虑了衣服的mask蒙版部分——对于模型来说&＃xff0c;输入的是语义分割信息&＃xff0c;而输出的是服装图片。我在视频网站上偶然看到了SPADE的展示效果&＃xff0c;这种“马良神笔”一般的呈现效果让我感到十分亲切&＃xff0c;并意识到SPADE架构满足了我对模型的大概需求。但当我使用SPADE训练的时候&＃xff0c;发现模型训练比较困难&＃xff0c;在机缘巧合下&＃xff0c;我又发现了一篇新的论文Semantically Multi-modal Image Synthesis。

论文详细介绍

https://aistudio.baidu.com/aistudio/projectdetail/3454453

该论文基于SPADE架构&＃xff0c;使用deep fashion数据集&＃xff0c;表现出不错的效果。其中Encoder的输出保留了空间结构信息&＃xff0c;我认为这一点是该模型更容易训练的原因。基于此&＃xff0c;我得以比较轻松地修改了自己的初版项目&＃xff0c;并生成了服装生成项目模型框架的雏形。

项目实践

点击GET项目详细地址

https://aistudio.baidu.com/aistudio/projectdetail/3405079

问题与数据调优

在模型训练的前期我主要遇到了两个问题&＃xff1a;

• 一是训练集的选取问题。

• 二是模型训练很慢&＃xff0c;1个batch需要耗费几十秒。

为了解决以上问题&＃xff0c;我按照如下步骤进行了数据处理&＃xff1a;

1. 选取FGVC6数据集。这一数据集提供了精准的衣服各部位划分标注区域&＃xff0c;一共有46类&＃xff0c;如图一所示。

图1 FGVC数据集展示[1]

2. 测试时&＃xff0c;模型输入不再需要这个GT&＃xff0c;只需要语义分割信息&＃xff0c;这个部分具体细节有待下文详解。

3. 输入给模型语义分割的Tensor格式为[batch_size,class_num,H,W],分别具体为[4,46,256,256]&＃xff0c;46是具体有46个label&＃xff0c;训练时batch_size为4。

4. 另外&＃xff0c;loss计算时需要考虑到衣服的蒙版。

5. 由于我输入的数据格式要求是256*256&＃xff0c;因此需要把图片和语义分割信息resize&＃xff0c;让H和W都为256。原先数据集的图片尺寸过大&＃xff0c;H和W值甚至上千&＃xff0c;导致resize操作消耗了很多时间。如果有疑惑的朋友问我&＃xff0c;为什么不用crop裁剪呢&＃xff1f;在这里有几点原因&＃xff1a;

• 首先&＃xff0c;我设计的是服装生成项目&＃xff0c;所以模型考虑的是衣服这个整体&＃xff0c;要尽量少地给局部信息&＃xff0c;防止管中窥豹&＃xff0c;让模型有自己的“格局”。

• 其次&＃xff0c;一张真实的图片中&＃xff0c;衣服本身所占的位置并不大且位置不固定&＃xff0c;很大概率在2500*2500上裁剪出一个256*256的区域是全黑的&＃xff0c;无法提供信息。

• 最后&＃xff0c;用crop裁剪的方式处理数据&＃xff0c;很容易导致一些标签模型可见机率很小&＃xff0c;比如鞋子所占比例很小&＃xff0c;容易造成生成效果的不准确。

6. 针对模型训练过慢的问题&＃xff0c;我尝试了两步调优方案。首先&＃xff0c;我最初采用的是在线resize &＃xff0c;1个batch需要耗费几十秒。总结后发现&＃xff0c;因为我输入的图片数据格式要求是256*256&＃xff0c;所以不太可能是前向传播tensor计算量的问题&＃xff0c;因此可以将问题定位到数据预处理部分。于是&＃xff0c;在飞桨开发者激励师的指导下&＃xff0c;我第一次尝试使用离线resize&＃xff0c;保存成npy&＃xff0c;保证了模型训练顺利开始。此外&＃xff0c;在离线resize保存语义分割信息时&＃xff0c;我最初设置的npy是 [256&＃xff0c;256&＃xff0c;class_num]&＃xff0c;过于稀疏&＃xff0c;占据了很多内存&＃xff0c;只能保存1000组左右。实际上&＃xff0c;一个像素其实只有一个标签&＃xff0c;因此&＃xff0c;我调整存储方式&＃xff0c;将其保存为[256,256,1]&＃xff0c;最后可以保存为10000组左右&＃xff0c;大大提高了存储效率。

对模型训练及损失的思考

1. 我采取了GAN作为模型主体形式&＃xff1a;生成器主体为Semantically Multi-modal Image Synthesis的模型架构&＃xff1b;判别器使用的是Multihead Discriminator&＃xff0c;这样可以支持判别器的特征对齐。

2. 判别器有三个任务&＃xff0c;它需要判别Ground Truth为True&＃xff0c;判别生成器生成出的图片为False&＃xff0c;同时要求判别语义分割可视化为False&＃xff08;改进点&＃xff09;&＃xff0c;这是为了帮助生成器生成更加复杂真实的纹理。

3. 为了将模型中心侧重于有衣服的区域&＃xff0c;生成器的featloss只考虑有衣服二值&＃xff08;0,1&＃xff09;mask的部分。

4. 我将spade.py中nn.conv2d(46,128)变成普通的卷积&＃xff0c;没有使用分组卷积&＃xff0c;理由是46不能除尽group_num &＃61; 4。

图2 Semantically Multi-modal Image Synthesis 模型架构

loss可视化

最后对loss进行可视化&＃xff0c;如图3所示&＃xff0c;其中&＃xff1a;

• d_real_loss:判别器判别真实的图片为True&＃xff1b;

• d_fake_loss:判别器判别生成器生成的图片为False&＃xff1b;

• d_seg_ganloss:判别器判别语义分割可视化为False&＃xff1b;

• d_all_loss: d_real_loss &＃43; d_fake_loss &＃43; d_seg_ganloss&＃xff1b;

• g_ganloss:要求生成器生成的图片能被判别器判别为True&＃xff1b;

• g_featloss:在判别器中生成器生成的图像和真实图像特征对齐&＃xff1b;

• g_vggloss:生成器生成的图片和GT通过VGG算感知损失&＃xff1b;

• g_styleloss&＃xff1a;生成器和GT通过Gram矩阵算风格损失&＃xff1b;

• kldloss:算一个与标准正太分布的kl散度&＃xff1b;

• g_loss:g_ganloss&＃43;g_featloss&＃43;g_vggloss&＃43;g_styleloss&＃43;kldloss。

图3 loss可视化

效果展示

It’s show time&＃xff01;从左往右分别为模型生成效果、Ground Truth(可以理解为模型参考答案)、模型输入的语义分割可视化。

图4 效果展示

回顾与思考

本项目还有很多值得改进的地方&＃xff0c;如是否可以通过模型框架的优化&＃xff0c;给衣服提供更细腻的特征控制&＃xff0c;或者更好地提高所生成模型的多样性。我会继续在图像生成这个领域学习研究&＃xff0c;期待未来带来更好的公开项目&＃xff0c;也欢迎大家与我交流。

参考文献

[1] Semantic Image Synthesis with Spatially-Adaptive Normalization

[2] Semantically Multi-modal Image Synthesis

关注【飞桨PaddlePaddle】公众号

获取更多技术内容~