深度学习系列48：超分模型RealESRGAN

1.1 退化模型

首先训练数据使用了2个first-order&＃xff1a;

最后一步加入了振铃和过冲现象&＃xff1a;

1.2 SRCNN

将CNN用到超分领域的第一篇文章&＃xff1a;

论文中卷积核和通道数的实验设置为&＃xff1a;

1.3 SRGAN

SRGAN将GAN引入超分领域&＃xff0c;用于解决如下问题&＃xff1a;
1&＃xff09;高频细节(high-frequency details) 的丢失&＃xff0c;整体图像过于平滑/模糊&＃xff1b;
2&＃xff09;与人的视觉感知不一致&＃xff0c;超分图像的精确性与人的期望不匹配&＃xff08;人可能更关注前景&＃xff0c;而对背景清晰度要求不高&＃xff09;。

提出如下改进&＃xff1a;

• 新的backbone&＃xff1a;SRResNet&＃xff1b;
• GAN-based network 及 新的损失函数&＃xff1a;
• adversarial loss&＃xff1a;提升真实感(photo-realistic natural images)&＃xff1b;
• content loss&＃xff1a;获取HR image和生成图像的感知相似性(perceptual similarity)&＃xff0c;而不只是像素级相似性(pixel similarity)&＃xff1b;或者说特征空间的相似性而不是像素空间的相似性。
• 使用主观评估手段&＃xff0c;更加强调人的感知。

模型结构如下&＃xff0c;Generator网络是SRResNet&＃xff0c;论文使用了16个residual blocks&＃xff1b;Discriminator网络为8次卷积操作&＃xff08;4次步长为2&＃xff09;&＃43;2次全连接层的VGG网络。

1.4 ESRGAN

enhanced SRGAN&＃xff0c;主要解决细节模糊和伪影问题。

• SRResNet网络结构的改进&＃xff1a;
  1&＃xff09;移除BN&＃xff0c;有利于去除伪影&＃xff0c;提升泛化能力&＃xff1b;
  2&＃xff09;使用Residual-in-Residual Dense Block (RRDB)作为基本构建模块&＃xff0c;更强更易训练&＃xff1b;
• GAN-based Network的损失函数的改进&＃xff1a;使用RaGAN (Relativistic average GAN)中的相对损失函数&＃xff0c;提升图像的相对真实性从而恢复更多的纹理细节&＃xff1b;
• 感知损失函数的改进&＃xff1a;使用VGG激活层前的特征值计算重构损失&＃xff0c;提升了亮度的一致性和纹理恢复程度。
  

2.1 各种资源

绿色版的exe文件参见github&＃xff0c;支持windows&＃xff0c;linux&＃xff0c;mac和NCNN
在线版本&＃xff1a;https://huggingface.co/spaces/akhaliq/Real-ESRGAN
使用方法&＃xff1a;./realesrgan-ncnn-vulkan.exe -i 二次元图片.jpg -o 二刺螈图片.png -n realesrgan-x4plus-anime
参数如下&＃xff1a;

Usage: realesrgan-ncnn-vulkan.exe -i infile -o outfile [options]...-h show this help-i input-path input image path (jpg/png/webp) or directory-o output-path output image path (jpg/png/webp) or directory-s scale upscale ratio (can be 2, 3, 4. default&＃61;4)-t tile-size tile size (>&＃61;32/0&＃61;auto, default&＃61;0) can be 0,0,0 for multi-gpu-m model-path folder path to the pre-trained models. default&＃61;models-n model-name model name (default&＃61;realesr-animevideov3, can be realesr-animevideov3 | realesrgan-x4plus | realesrgan-x4plus-anime | realesrnet-x4plus)-g gpu-id gpu device to use (default&＃61;auto) can be 0,1,2 for multi-gpu-j load:proc:save thread count for load/proc/save (default&＃61;1:2:2) can be 1:2,2,2:2 for multi-gpu-x enable tta mode"-f format output image format (jpg/png/webp, default&＃61;ext/png)-v verbose output


目前已有的模型&＃xff1a;
realesrgan-x4plus&＃xff08;默认&＃xff09;效果清晰&＃xff0c;偏向于脑补;
reaesrnet-x4plus&＃xff08;效果模糊&＃xff0c;偏向于涂抹&＃xff09;
realesrgan-x4plus-anime&＃xff08;针对动漫插画图像优化&＃xff0c;有更小的体积&＃xff09;
realesr-animevideov3 (针对动漫视频)
这个是未来的计划&＃xff1a;

2.2 github上原代码

git clone https://github.com/xinntao/Real-ESRGAN.git
cd Real-ESRGAN
# 安装 basicsr - https://github.com/xinntao/BasicSR
# 我们使用BasicSR来训练以及推断
pip install basicsr
# facexlib和gfpgan是用来增强人脸的
pip install facexlib
pip install gfpgan
pip install -r requirements.txt
python setup.py develop
wget https://github.com/xinntao/Real-ESRGAN/releases/download/v0.1.0/RealESRGAN_x4plus.pth -P experiments/pretrained_models


然后执行&＃xff1a;

python inference_realesrgan.py -n RealESRGAN_x4plus -i inputs --face_enhance


2.3 训练和微调

参考https://github.com/xinntao/Real-ESRGAN/blob/master/docs/Training_CN.md
微调时&＃xff0c;可以使用程序自带的降级模型&＃xff0c;也可以自备数据对。