深度学习环境配置和CPVTON复现

开发环境

除了根据link配置好cuDNN&＃xff0c;Tensorflow&＃xff0c;PyTorch以外&＃xff0c;一些其他的依赖包如TensorboardX&＃xff0c;Opencv 等也可以用同样的方法在命令行用pip3 install 并通过清华镜像 -i https://pypi.tuna.tsinghua.edu.cn/simple 进行配置。

安装PyCharm。先在PyCharm官网下载安装包&＃xff0c;在命令行进入解压后的/bin文件夹&＃xff0c;执行 sh ./pycharm.sh 命令&＃xff0c;之后的操作参照链接&＃xff0c;并参考link配置项目环境。

错误解决方案&＃xff1a;

• sudo apt-get install 出现“E: 有几个软件包无法下载&＃xff0c;要不运行 apt-get update 或者加上 --fix-missing 的选项再试试&＃xff1f;”。参考1 参考2 。由于两种方案都有尝试&＃xff0c;所以不确定是哪一个奏效。

• “sudo add-apt-repository command not found”&＃xff1a;解决方案

• “no module named Tensorflow”&＃xff1a;存在多个版本的python时&＃xff0c;需要键入正确版本如使用pip3安装则是python3&＃xff0c;以导入模块。参考

• “tensorboard: command notfound”&＃xff1a;解决方案 我是在tensorboard里python main.py解决的

数据下载

谷歌搜索镜像&＃xff1a;谷歌学术镜像

MultCloud&＃xff1a;在官网注册一个账号&＃xff0c;进入后绑定百度云或其他可访问的网盘&＃xff0c;绑定Google Drive&＃xff08;需要代理&＃xff09;&＃xff0c;在Google Drive中将需要下载的文件保存到自己的空间后&＃xff0c;在MultCloud中选中&＃xff0c;Copy to 目标网盘&＃xff0c;即可在其他网盘工具进行高速下载。如果是放在谷歌网盘的数据集&＃xff0c;可以通过上述方法下载。

我后来保存了cp-vton的数据集和模型&＃xff0c;可以在&＃xff08;链接 提取码&＃xff1a;8aum&＃xff09;下载&＃xff0c;里面有一个model文件夹和一个viton_resize.tar.gz。

VITON复现&＃xff08;未完成&＃xff09;

VITON: An Image-based Virtual Try-on Network&＃xff08;CVPR 2018&＃xff09;

&＃xff08;论文地址 Github项目地址(Star 209)&＃xff09;

在Github的诸多虚拟试穿的项目中&＃xff0c;VITON的这一复现项目是最热门的项目之一&＃xff0c;因此我原先的计划是跑一下这个模型。但是项目使用的数据集应该是涉及到zalando公司的利益而版权受到限制&＃xff0c;有评论提到可以用CP-VTON项目中使用的数据集代替&＃xff0c;而两边用到的数据的格式和深度学习库不一样&＃xff0c;我没将数据处理修改好&＃xff0c;所以暂时没跑。

使用PyCharm进行调试&＃xff0c;命令行参数的设置可经下图所示步骤。

Toward Characteristic-Preserving Image-based Virtual Try-On Network (ECCV 2018&＃xff09;

这篇文献是对 VITON 的一个改进&＃xff0c;相较于 VITON&＃xff0c;CP-VTON 在生成试衣图像时并没有采用 shape context matching&＃xff0c;而是采用了一种 tailored convolutional neural network。

人物表示

姿势热图&＃xff1a;一个18通道的特征图&＃xff0c;每个通道对应一个人体姿势关键点&＃xff0c;绘制为11 × 11白色矩形。

身体形状&＃xff1a;模糊的二进制蒙版的1通道特征图&＃xff0c;大致覆盖了人体的不同部位。

保留区域&＃xff1a;包含保留区域以保持人的身份&＃xff08;包括脸部和头发&＃xff09;的RGB图像。

Geometric Matching Module&＃xff08;GMM&＃xff09;

它的输入是人物表示p和目标产品图片c&＃xff0c;p和c的高级特征会由两个网络提取&＃xff0c;然后被一个相关层组合到一起。与
VITON的编码器-解码器生成器不同&＃xff0c;GMM的输出并不是目标变形衣服形状的mask&＃xff0c;而是变形后的衣服。

GMM通过训练一个 regression network 预测空间变换参数并使用TPS转换来生成变形后的衣服&＃xff0c;其代价函数为变形后的衣服与Ground True 的L1损失。直接使用像素对像素的误差能提升网络的效率&＃xff0c;不过不一定能获得更好的生成效果。GMM不像VITON使用预先训练的VGG19&＃xff0c;而是从头开始训练。

在 GMM部分&＃xff0c;主要分为 Feature Extraction Network &＃xff08;用于人物表示和衣服的特征提取&＃xff09;和 Regression Network 两部分。在 Feature Extraction Network 部分中&＃xff0c;包含四个2-stride的下采样卷积层&＃xff0c;后接两层卷积层使用了 1-stride以维持输出的维数。Regression Network 包含两个 2-stride 的卷积层、两个 1-stride 的卷积层、一个全连接的输出层。文章也给出了 SCMM 与 GMM 的效果对比&＃xff0c;结果显示 GMM 在处理较大幅度的变形的时候能获得比 SCMM 更好的效果。

Try-on Module&＃xff08;TOM&＃xff09;

给定人物表示和变形衣服&＃xff0c;UNet同时生成渲染人物与Composition Mask&＃xff0c;渲染人物与变形衣服将通过Composition Mask合成最终结果。

和 VITON 的 Refinement Network 差不多&＃xff0c;比较具体的不同是在于代价函数的选择。在 VITON 中&＃xff0c;代价函数只用了 VGG19感知损失&＃xff0c;而在 CP-VTON 中&＃xff0c;作者加上了 pixel-wise 的 L1 损失。此外&＃xff0c;由于 CP-VION 在 GMM 中并没有得到 segmentation mask&＃xff0c;在计算 Composition Mask 的误差的时候无法照搬 VITON 的损失函数。基于特征保留的目的&＃xff0c;作者使用了 1 - M 的 L1
范数来增强服装部分像素点对 loss 函数的影响。具体损失函数如下&＃xff1a;

CP-VTON复现