域适应加雾代码：通过《bringingoldphotosbacktolife》

目录

        我想说的一些话&＃xff1a;

摘要

引言

1相关工作

1.1大气散射模型

 1.2图像加雾

1.2.1基于传统方法的雾图合成

1.2.2基于深度学习的雾图合成

1.2.3图像处理软件加雾

2.方法

2.1图像到图像的翻译

2.2变分自编码器

2.3 域适应雾图合成

3.实验

4结论

附录&＃xff1a;开源代码和姊妹文章&＃xff08;去雾&＃xff09;

我想说的一些话&＃xff1a;

在研究去雾的过程中&＃xff0c;发现数据集问题是一个比较棘手的问题&＃xff0c;于是顺手做了一下数据加雾的任务&＃xff0c;思路很简单&＃xff0c;把去雾的输入输出反过来训练&＃xff0c;一般的模型都可以做到加雾任务&＃xff0c;有时改动极少的一些中间代码即可。我将其总结之后视作水文进行了发表&＃xff0c;由于操之过急且未重视&＃xff0c;文章中难免有些错误&＃xff0c;如公式序号、画图粗糙等问题&＃xff0c;但是无伤大雅&＃xff0c;希望能给大家带来一些思路或者灵感。

代码我放在百度云中&＃xff0c;论文的部分核心中文版我放在此博客中&＃xff0c;英文发表的全文我放在百度云中。其中一些含有公式等&＃xff0c;为了节省时间&＃xff0c;我进行截图替代&＃xff0c;造成不便多多谅解&＃xff01;中文版为较早写的草稿&＃xff0c;以英文版为准。见附录

下面开始正文。

摘要

数据集问题一直以来制约着深度学习去雾的发展&＃xff0c;因为受到环境和设备等因素&＃xff0c;有雾和无雾的图像对极难获得。为缓解该问题&＃xff0c;本文提出一种新的基于域适应的雾霾场景生成算法&＃xff0c;利用变分自编码器将合成雾图对和真实雾图编码到潜空间&＃xff0c;合成雾图直接指导模型学习清晰图像到有雾图像的转换&＃xff0c;真实雾图则通过对抗损失用于校正模型的编码潜空间&＃xff0c;尽可能使解码出的雾图接近真实雾图。通过对模型的加雾结果与加雾软件、传统通过大气模型等方式进行对比&＃xff0c;本文生成的雾图更加逼真&＃xff1b;使用传统方法对合成雾图进行去雾&＃xff0c;SSIM和PSNR均有所提升&＃xff0c;说明生成雾图的合理性;通过一些无参照雾浓度评测算法也证明本文加雾结果的有效性。

引言

去雾一直以来是计算机视觉中的重要任务&＃xff0c;但是人们通常只关注如何去雾&＃xff0c;而很少关注如何合成雾和如何合成更真实的雾。这在深度学习快速发展的今天更加重要&＃xff0c;拥有大量高质量的数据能够使模型表现更好&＃xff0c;然而深度学习去雾中数据集大多是人工合成的。这些合成的数据集不能完全模拟出真实世界中的雾&＃xff0c;因此&＃xff0c;使用此类数据集的深度学去雾模型难以在真实雾图上表现良好。 目前&＃xff0c;雾图合成主要有两种方法。一是基于大气模型[9,10]合成,首先测量或者估计出图像对应的深度图&＃xff0c;利用大气模型合成雾图[27,29]。由于深度图难免存在误差&＃xff0c;且大气模型难以完全模拟真实环境&＃xff0c;因此合成的雾图有一定的缺陷。二是基于深度学习的加雾算法&＃xff0c;利用成对数据训练模型&＃xff0c;可实现端到端的合成雾图。由于基于深度学习的方法同样需要训练数据&＃xff0c;因此合成的雾图和真实雾图也有一定的偏差。三是一些其他的方法&＃xff0c;如软件合成&＃xff0c;渲染等。 为缓解以上问题&＃xff0c;本文提出域适应雾图合成算法。该算法基于变分自编码器和生成对抗网络&＃xff0c;通过生成对抗损失将合成雾图向真实雾图进行域适应&＃xff0c;从而以端到端的方式生成更加逼真的雾图。 本文的主要贡献包括以下方面&＃xff1a; (1)提出一种新的域适应雾图合成算法&＃xff0c;产生较为真实的雾图 (2)提出使用生成对抗损失将合成雾图域向真实雾图特征进行域适应。

1相关工作

1.1大气散射模型

 1.2图像加雾

1.2.1基于传统方法的雾图合成

传统方法的雾图合成&＃xff0c;主要通过公式(1)和公式(3)&＃xff0c;加雾流程如图(3)所示。室内雾图合成可用的数据集有Middlebury Stereo[36-40]、NYUv2数据集等&＃xff0c;后者源数据是通过Microsoft Kinect获取的&＃xff0c;经过对深度缺失值的填充以及标记等后处理的图片有1499张&＃xff0c;通常这些数据可以用来进行深度估计、语义分割等任务。室外雾图合成可用的数据有HAZERD数据集&＃xff0c;以及Cityscapes[41]、KITTI [ 42]

Fig . 3 Haze image generation based on traditional method.

图3 基于传统方法的雾图生成

基于传统方式的雾图生成&＃xff0c;通过读取深度图和原始清晰图像在线合成雾化图像.

1.2.2基于深度学习的雾图合成

生成对抗网络GAN [18]在提出后&＃xff0c;受到广泛的关注&＃xff0c;并可用来进行雾图合成。经典的图像翻译模型pix2pix[1]模型由多分辨率生成器&＃xff0c;多尺度判别器构成&＃xff1a;判别器能够对生成结果进行多尺度判别&＃xff0c;判别器使用Patch GAN结构&＃xff0c;最终结果为其输出的判别矩阵的平均&＃xff0c;生成器的基础结构则是U-Net[21]&＃xff0c;能够生成高分辨率和清晰的结果&＃xff1b;但是该方法是监督学习&＃xff0c;若用来进行加雾&＃xff0c;则能利用的数据就是人工合成的雾图对&＃xff0c;其训练出来的结果和真实雾图也会有一定的差异. 著名的非监督图像转换方法Cycle-GAN[4]经提出后&＃xff0c;为不成对数据训练提供了一个有效的损失函数循环一致性损失&＃xff0c;通过该损失&＃xff0c;可以利用真实雾图进行加雾&＃xff0c; 利用GAN加雾的算法通常增加额外损失[1, 23,25,26] , 增加了需要调节的超参数和训练的难度.另外GAN模型通常需要更多的数据进行训练&＃xff0c;数据的质量对模型的训练效果有很大影响. 无监督方式主要利用循环一致性损失&＃xff0c;无绝对映射的训练方式会使产生的结果出现非期望转换风格&＃xff0c;有监督加雾模型又陷入雾图对的问题&＃xff0c;利用合成雾图会导致加雾结果不真实。

1.2.3图像处理软件加雾

Adobe lightroom 中含有一个去朦胧功能&＃xff0c;可以将图片清晰化&＃xff0c;当将其值调为负时&＃xff0c;则会产生雾的效果。本文中通过此软件的去朦胧功能对图片进行加雾&＃xff0c;用于对照实验.

2.方法

2.1图像到图像的翻译

图像到图像的翻译[1,2]是指通过学习将图像从一个域映射到另一个域. 监督学习的图像翻译需要成对数据集&＃xff0c;对应的图像翻译算法有pix2pix[1]模型&＃xff0c;pix2pixHD[2]模型等.非监督学习的图像翻译[3,4]不需要成对数据集&＃xff0c;数据的收集变得简单。 图像翻译需要学习不同域图像的联合分布.在无监督环境中&＃xff0c;数据由来自两个不同域中的两个边缘分布组成&＃xff0c;从边缘分布推断联合分布是一个高度不适定问题&＃xff0c;需要在联合分布的基础上加入额外的假设&＃xff0c;如共享潜空间假设[3]、循环一致性损失[4]等. 如文献[4]中提出的Cycle- GAN模型&＃xff0c;解决了数据不匹配问题&＃xff0c;文献[3]中提出了基于生成对抗网络和变分自编码器的UNIT框架&＃xff0c;从共享潜空间角度对每个域使用VAE-GAN进行建模&＃xff0c;进行两域之间样本的学习.

2.2变分自编码器

变分自编码器(VAE)从变分和贝叶斯理论出发&＃xff0c;期望编码向量的后验分布尽量接近多元正态分布&＃xff0c;本质是在常规自编码器的基础上&＃xff0c;对编码的结果加上了“高斯噪声”&＃xff0c;使得解码器能够对噪声有鲁棒性&＃xff0c;利于解码结果多样化&＃xff1b;同时&＃xff0c;使用KL散度损失约束编码结果的分布靠近正态分布&＃xff0c;相当于对编码器施加正则项&＃xff0c;如图所示2. 图像重建时&＃xff0c;从潜空间进行采样操作不可导&＃xff0c;无法进行梯度下降.假设数据映射到多元正态分布 &＃xff0c;

Fig4. Hybrid samples learning network structure diagram based on latent space translation.

 图4基于潜空间翻译的混合样本学习网络结构图

2.3 域适应雾图合成

3.实验

一些结果如下图所示

 图 5 Adobe lightroom和我们的方法与SOTS测试集中部分数据的的定性比较

 图8 我们的方法加不同浓度雾的结果&＃xff0c;通过对重复使用本文方法进行加雾

4结论

本文通过一种域适应学习问题&＃xff0c;给出了一种基于潜空间翻译的混合样本学习算法&＃xff0c;并将其用于图像加雾&＃xff0c;验证了该算法的有效性.

更新&＃xff08;使用方法&＃xff0c;和云盘中加入权重&＃xff0c;和压缩包&＃xff09;&＃xff1a;

依赖库&＃xff1a;

一般情况下直接安装如图所示即可。

附录&＃xff1a;开源代码和姊妹文章&＃xff08;去雾&＃xff09;

代码&＃xff1a;

链接: https://pan.baidu.com/s/1ruZeQhuxLBBoMza2FNsmxg 提取码: uxmn 复制这段内容后打开百度网盘手机App&＃xff0c;操作更方便哦

对应的英文论文&＃xff1a;

链接: https://pan.baidu.com/s/1BNHKhHDxbhWm4of4tygZxA 提取码: q278 复制这段内容后打开百度网盘手机App&＃xff0c;操作更方便哦

姊妹博客&＃xff1a;

图像去雾&＃xff0c;利用《bringing old photos back to life》 的开源代码_Alocus的博客-CSDN博客

图像去雾&＃xff0c;利用《bringing old photos back to life》 训练并修改_Alocus的博客-CSDN博客

完善后的根据深度图加雾代码Python_Alocus的博客-CSDN博客