PatchMapBasedHybridLearningDehazeNetforSingleImageHazeRemoval（基于PatchMap的去雾网络，IEEE2020）

摘要&＃xff1a;在雾霾环境中获取的图像通常存在能见度差和信息丢失的问题。因此&＃xff0c;在本研究中&＃xff0c;我们提出了一种基于patch-map的混合学习去雾网络&＃xff0c;通过使用一种包含patch-map和双注意生成对抗网络的混合学习技术&＃xff0c;将这两种学习策略结合起来。在这种方法中&＃xff0c;分析了限制暗通道先验(DCP)性能的原因。定义了一种新的特征patch map&＃xff0c;用于自适应地选择patch大小。可以有效地解决DCP的局限性(例如&＃xff0c;颜色失真和无法恢复涉及白色场景的图像)。此外&＃xff0c;为了进一步提高该方法的除霾性能&＃xff0c;我们将基于patch-map的DCP嵌入到网络中&＃xff0c;该模块与大气光发生器、patch map 选择模块和精细化模块同时进行训练。将传统方法与基于学习的方法相结合&＃xff0c;可以有效地提高网络的雾霾去除性能。实验结果表明&＃xff0c;与其他最先进的去雾算法相比&＃xff0c;该方法可以获得更好的重建结果。

1.主要贡献

据我们所知&＃xff0c;所提出的架构是第一个采用patch map的雾霾去除算法&＃xff0c;并将基于学习和基于先验的方法集成到一个单一的网络中。实验结果表明&＃xff0c;该方法不仅能解决颜色失真问题&＃xff0c;而且能显著提高去雾效果的质量。1)设计了一种端到端的去雾系统PMHLD&＃xff0c;该系统将基于patch-map的DCP集成到网络中。利用patch map&＃xff0c;可以将整个网络与估算的大气光、patch map、精细化网络联合训练&＃xff0c;恢复图像。实验结果表明&＃xff0c;与原PMS-Net相比&＃xff0c;所提出的PMHLD技术具有更好的图像恢复性能。2)针对DCP中存在的颜色失真问题&＃xff0c;研究了DCP在某些场景下失败以及使用固定的patch大小导致性能不佳的原因。一个新的特征叫做patch map被提出。使用这个新特性&＃xff0c;可以为每个像素自适应地选择patch大小。3)为了有效地预测斑块图&＃xff0c;提出了一种基于双注意GAN和激活函数的patch map选择网络。利用这两个模块&＃xff0c;可以有效地改进patch map的预测。4)为了实现混合学习&＃xff0c;将DCP嵌入到学习过程中&＃xff0c;提出了基于patch-map的暗通道层&＃xff0c;该暗通道层具有可学习的patch map。利用该层&＃xff0c;可以将传统的暗通道操作和基于patch-map的暗通道操作集成到网络学习中。

2.去雾模型

该网络的流程图如图3所示。该网络基于两种去雾策略&＃xff0c;即基于patch-map的DCP和混合学习的DehazeNet。它的结构可分为两部分&＃xff0c;即无雾图像发生器和无雾图像鉴别器。在发生器部分&＃xff0c;透射图和大气光是两个需要估计的关键变量。对于传输图的预测&＃xff0c;选择DCP作为骨干&＃xff0c;因为与其他基于人工预处理的去雾方法相比&＃xff0c;DCP具有优异的性能。然而&＃xff0c;使用DCP恢复的结果通常会出现严重的颜色失真问题。因此&＃xff0c;需要分析造成这种颜色畸变的原因。为了解决这个问题&＃xff0c;一个叫做patch map的新特性被提出。为了准确地生成补丁图&＃xff0c;设计了一种双注意的补丁图选择网络。对于除雾的另一个重要变量大气光的估计&＃xff0c;我们开发了一个估计网络来精确地预测它。对于无雾鉴别器部分&＃xff0c;由于我们希望得到的重构结果尽可能接近清晰的图像&＃xff0c;所以我们采用了鉴别器体系结构。

图3 提出的雾霾去除算法的流程图 

2.1 Patch Map

我们描述了为学习过程生成一个补丁图(PM)的过程。在训练阶段&＃xff0c;首先根据(7)和式(8)采用不同的patch大小恢复输入的雾蒙蒙的图像。

其中I(x) 和A是朦胧图像和大气光。ti(x) 和Ji(x)&＃xff0c;分别为不同patch size i下DCP估计的传输图和无雾图像。然后&＃xff0c;计算去雾结果与地面真值之间的误差函数 。

其中Ei(x)为误差函数&＃xff0c;Jgth(x)为基真值。对于每个像素的不同patch size i&＃xff0c;将计算误差函数。下一步&＃xff0c;通过搜索每个像素的误差函数最小的patch大小来定义patch map的真实值。 

 其中PM(x)为ground-truth patch map, k为x位置的patch map值&＃xff0c;最大patch size n设为120。从这个操作中&＃xff0c;可以计算出所有图像的ground-truth patch map用于训练过程。

在一般情况下&＃xff0c;在白色、灰色、明亮和天空区域&＃xff0c;patch的大小最好更大一些&＃xff0c;以适应DCP。在暗色区域或只有一个或两个颜色分量的区域&＃xff0c;斑块尺寸最好小一些。在明亮区域&＃xff0c;patch的大小可能会发生变化&＃xff0c;因为patch的大小需要适当调整以达到0的值。对于深度差异较大的区域&＃xff0c;patch大小可能较小。此外,地区类似的颜色并不总是有相同的块大小,随着补丁地图会改变根据相邻像素。因此,从上面的分析中,可以知道补丁地图是一个复杂的特性,是很难计算的。

2.2 双注意的PM选择网络

为了准确预测patch map&＃xff0c;提出了BAPMS-Net自适应选择patch size。该网络的设计如图6所示。该网络由两个子网组成&＃xff0c;即补丁图生成器和补丁图鉴别器。在补丁图生成器中&＃xff0c;设计了注意模块和编码器-解码器体系结构&＃xff0c;以提高补丁图生成的性能。此外&＃xff0c;为了提高训练过程和网络的性能&＃xff0c;在分析数据分布的基础上&＃xff0c;提出了一种新的激活函数&＃xff0c;即patch map ReLU (PMReLU)。

图6 BAPMS-Net 

2.2.1 注意力模块

利用注意地图对网络中重要区域进行关注的研究成果&＃xff0c;采用了注意模块Attention_G来提高patch map生成的性能&＃xff0c;如图8(a)所示。Attention_G的思想是:在传统的DCP中&＃xff0c;对于具有高强度差和深度差的区域&＃xff0c;patch的选择对恢复的图像质量非常敏感。对于高强度的部分&＃xff0c;颜色失真问题是由于patch大小选择错误造成的。此外&＃xff0c;对于深度差较大的区域&＃xff0c;如果patch大小选择错误&＃xff0c;通常会出现晕轮伪影。因此&＃xff0c;通过结合强度差和深度差信息&＃xff0c;注意力地图可以让网络聚焦于重要区域。

2.2.2 Patch Map Generator

该补丁地图生成器的体系结构可分为编码器和解码器两部分。在网络的开始&＃xff0c;将输入的图像乘以Attention_G&＃xff0c;并与3×3内核进行卷积&＃xff0c;将信息投影到更高维度的空间中。然后将结果传递给所提出的多尺度u模块提取图像特征。多尺度u模块的结构由两个不同的块组成&＃xff0c;即多尺度wresblock (MWRB)和多尺度反褶积块(MDB)&＃xff0c;如图7所示。在MWRB的情况下&＃xff0c;采用Wide-ResNet (WRN)[36]作为骨干。在每个块中&＃xff0c;采用多尺度技术提取不同尺度的信息。利用多级策略来获得更好的特征提取性能。在提出的网络中&＃xff0c;我们应用这个策略来生成patch map&＃xff0c;因为我们认为这些提取的特征与雾霾有关。为了进一步提高提取不同层次特征的能力&＃xff0c;采用了金字塔连接样式。具体来说&＃xff0c;在第一个块中&＃xff0c;大小为5×5, 3×3和1×1的三个卷积核并行连接&＃xff0c;因为可以保存不同尺度的大量信息。在第二和第三块中分别应用大小(3×3, 1×1)和(1×1)的卷积核。此外&＃xff0c;为了保留前一层的上下文信息&＃xff0c;提出了多级池(multipooling)。

式中&＃xff0c;x表示从上一MWRB层确定的特征&＃xff0c;Cke()表示核大小为e的stride卷积运算&＃xff0c;扩展级别为k&＃xff0c; ||表示串联运算&＃xff0c;s是stride卷积的尺度范围&＃xff0c;s∈{2,3,5}。在这项工作中&＃xff0c;k被设为2。

利用多池操作&＃xff0c;提取的特征可以在不同的接受大小和规模下保持不变。对于多尺度u模块的另一部分&＃xff0c;应用多尺度反褶积块(multiscale - deconvolution Block, MDB)对多尺度u模块的信息进行组合。这是因为反褶积运算可以帮助网络重构输入数据[38]的形状信息&＃xff0c;而patch的大小与该形状信息有关。在补丁图生成器的其余部分中&＃xff0c;来自MWRB和MDB的输出被连接起来。该信息将被输入到下一个MDB和更高层的解码器中。解码器的设计由全局卷积网络模块(GCN)和边界细化模块(BR)组成&＃xff0c;以保留高分辨率数据和边缘细节。然后将feature map馈入高档层&＃xff0c;采用密集连接的风格对提取的信息进行合并。 

图7 多尺度w - resblock和多尺度反褶积块的结构。

2.2.3 Patch Map ReLU

在训练过程中&＃xff0c;激活函数非常重要&＃xff0c;它可以大大提高网络的收敛速度&＃xff0c;提高网络的性能。例如&＃xff0c;在之前的研究中&＃xff0c;提出了BReLU&＃xff0c;根据传输图的性质来预测传输图。一般来说&＃xff0c;激活函数的候选函数通常是Sigmoid或ReLU。但是&＃xff0c;这些激活函数在最后一层可能存在梯度消失(即零梯度)和响应溢出的问题。此外&＃xff0c;在某些特定场景中&＃xff0c;这些功能可能与数据的分布不匹配。因此&＃xff0c;在BAPMS-Net的设计中&＃xff0c;为了加快收敛速度&＃xff0c;提高网络性能&＃xff0c;通过分析数据分布&＃xff0c;提出了patch map ReLU (PMReLU)。在学习过程中&＃xff0c;PMReLU在式12中定义&＃xff0c;其可视化表示如图9所示。 

 图9

2.2.4 Bi-Attentive Patch Map Discriminator

使用鉴别器的目的是通过验证输出图像来帮助生成器学习真实的结果。提出了双注意map&＃xff08;Attention_D))来进一步提高鉴别器的性能。在使用该map时&＃xff0c;将朦胧图像和预测的patch map拼接在一起&＃xff0c;并将拼接后的信息与生成器的注意图(即Attention_G)相乘&＃xff0c;以及由估计的patch map与ground truth之间的差值计算得到的误差图。

2.2.5 Loss Function

如图6所示&＃xff0c;在我们的patch map生成器中存在两种损耗:patch map的损耗和attention map的损耗。在BAPMS-Net中&＃xff0c;发生器的损耗函数为

其中LG_B APMS−Net为BAPMS-Net的生成损失&＃xff0c;Lpm为预测注意图与地面真实注意图之间的均方误差(MSE)&＃xff0c; Latt为预测注意图与地面真实注意图之间的m1范数误差&＃xff0c;LAdv_B AP M S−Net表示对抗性损失。λ1设为10000&＃xff0c;λ2设为2.5。另外&＃xff0c;鉴别器的损耗定义为 

其中LD_B AP M S−Net是先前研究提出的用于训练鉴别器的损失函数。LWReal和LWFake分别为经过鉴别器的真patch map和假patch map的Wasserstein loss[43]。LG P为梯度罚损。

3.实验结果