基于飞桨复现RealESRGAN_副本

转载自AI Studio

标题项目链接https://aistudio.baidu.com/aistudio/projectdetail/3156903

本项目基于深度学习框架PaddlePaddle对Real-ESRGAN网络(原论文)进行复现。

简介

如下图所示&＃xff0c;Real-ESRGAN网络属于生成对抗网络&＃xff0c;包括基于ESRGAN的生成器和基于U-Net的判别器&＃xff0c;可对真实世界的复杂图像进行超分辨率重建。

生成器

判别器

本项目所用的数据集为DF2K和DF2K_multiscale&＃xff0c;它们是通过DIV2K和Flickr2K生成的&＃xff0c;其中&＃xff0c;DF2K包含3450张高分辨率图片&＃xff0c;DF2K_multiscale包含13800张不同尺度下的低分辨率图片。本项目已包含该数据集&＃xff0c;在data目录下&＃xff0c;需要先解压&＃xff1a;

!ls /home/aistudio/data
!unzip -qo /home/aistudio/data/data119372/DF2K_HR.zip -d /home/aistudio/data/
!unzip -qo /home/aistudio/data/data119372/DF2K_multiscale.zip -d /home/aistudio/data/
!ls /home/aistudio/dat


数据集放在了aistudio&＃xff0c;可下载使用。

低分辨率图片

经过Real-ESRGAN重建的结果

训练

导入初始化权重ESRGAN_SRx4_DF2KOST_official-ff704c30.pdparams&＃xff0c;设置参数进行训练。

python train.py


测试

python inference_realesrgan.py

代码结构

├─data 数据准备
├─datasets
├─experiments 实验预训练模型及保存的训练模型
├─inputs 测试的低分辨率图片
├─loss 损失函数
├─models 模型
├─options 参数设置
├─results 测试结果
├─utils
│ inference_realesrgan.py 测试代码
│ train.py 训练代码
│ train1.ipynb Notebook训练和测试代码
复现心得

本项目是我们的第一个PaddlePaddle项目&＃xff0c;也是我们做个第一个超分辨项目。Real-ESRGAN的核心主要在于训练数据集的构建&＃xff0c;通过模糊、加噪、尺寸缩小、压缩等多种退化方式的随机组合模拟真实场景的图像退化情况&＃xff0c;进而提高模型在真实场景下的泛化性。项目整体难度不高&＃xff0c;主要难点可能在于原文代码基于pytorch的工具包BasicSR&＃xff0c;我们对工具包中相关文件进行了PaddlePaddle的转写和简化。在复现实验中&＃xff0c;我们感受到数据集规模和数据扩增对网络性能的影响还是很大的。这个项目对我们的代码写作水平的提高很有帮助&＃xff0c;同时我们也对PaddlePaddle这个新的深度学习框架有了一定的了解。

本项目的作者是来自中国地质大学&＃xff08;武汉&＃xff09;的两位小可爱&＃xff0c;起名叫勇敢土豆不怕困难&＃xff01;好听吧哈哈哈。

在此非常感谢论文作者Xintao贡献的Real-ESRGAN的Pytorch代码&＃xff0c;提高了本repo复现论文的效率。

请点击此处查看本环境基本用法.

Please click here for more detailed instructions.