ZeroReferenceDeepCurveEstimationforLowLightImageEnhancement

Abstract

本文提出了一种新的零参考深度曲线估计&＃xff08;Zero-DCE&＃xff09;方法&＃xff0c;该方法将光增强定义为一种基于深度网络的图像特定曲线估计任务。 我们的方法训练一个轻量级的深度网络DCE-Net&＃xff0c;以估计像素级和高阶曲线&＃xff0c;用于给定图像的动态范围调整。 曲线估计是专门设计的&＃xff0c;考虑到像素值范围&＃xff0c;单调性&＃xff0c;和可微性。 Zero-DCE的优点在于它对参考图像的宽松假设&＃xff0c;即在训练过程中不需要任何配对或未配对的数据。 这是通过一组精心制定的非参考损失函数来实现的&＃xff0c;这些函数隐含地度量增强质量并驱动网络的学习。 我们的方法是有效的&＃xff0c;因为图像增强可以通过直观和简单的非线性曲线映射来实现。 尽管它很简单&＃xff0c;但我们表明它能很好地推广到不同的光照条件。 在各种基准上进行的大量实验证明了我们的方法在定性和定量方面优于现有方法。 此外&＃xff0c;本文还讨论了Zero-DCE对黑暗中人脸检测的潜在好处。 

1. Introduction

由于不可避免的环境和/或技术限制&＃xff0c;许多照片往往是在次优照明条件下拍摄的。 这些问题包括环境中不充分和不平衡的照明条件&＃xff0c;不正确地放置物体以对抗极端的背光&＃xff0c;以及在图像捕捉过程中曝光不足。 这种弱光照片的美感质量受到损害&＃xff0c;信息传递也不令人满意。 前者影响观众的体验&＃xff0c;后者导致错误的信息传递&＃xff0c;如对象/人脸识别不准确。 

在本研究中&＃xff0c;我们提出一种新的基于深度学习的方法&＃xff0c;零参考深度曲线估计(ZERODCE)&＃xff0c;用于弱光影像增强。 它可以应付不同的照明条件&＃xff0c;包括不均匀和照明不良的情况。 我们不再执行图像到图像的映射&＃xff0c;而是将任务重新表述为一个特定于图像的曲线估计问题。 特别地&＃xff0c;该方法以微光图像为输入&＃xff0c;产生高阶曲线作为输出。 然后使用这些曲线对输入的动态范围进行像素级调整&＃xff0c;以获得增强图像。 曲线估计是精心制定的&＃xff0c;以保持增强图像的范围和保持相邻像素的对比度。 重要的是&＃xff0c;它是可微的&＃xff0c;因此我们可以通过深度卷积神经网络学习曲线的可调参数。 该网络结构轻巧&＃xff0c;可以迭代逼近高阶曲线&＃xff0c;从而提高动态范围调整的鲁棒性和精确度。 

我们基于深度学习的方法的一个独特优势是零参考&＃xff0c;即它不像现有的基于CNN[28,32]和基于GAN的方法[12,38]那样在训练过程中需要任何配对甚至未配对的数据。 这是通过一组特殊设计的非参考损失函数来实现的&＃xff0c;这些非参考损失函数包括空间一致性损失、曝光控制损失、颜色恒常性损失和照明平滑性损失&＃xff0c;所有这些都考虑了光增强的多个因素。 我们表明&＃xff0c;即使使用零参考训练&＃xff0c;Zero-DCE仍然可以与其他需要配对或非配对数据进行训练的方法进行竞争。 在图中示出了增强包括非均匀照明的微光图像的示例 1. 与最先进的方法相比&＃xff0c;Zero-DCE在保留图像固有颜色和细节的同时&＃xff0c;使图像变亮。 相比之下&＃xff0c;基于CNN的方法[28]和基于GAN的InnlightenGAN的方法[12]都产生了低于&＃xff08;面部&＃xff09;和高于&＃xff08;橱柜&＃xff09;的增强。 

我们的贡献概述如下。

1&＃xff09;我们提出了第一个独立于配对和非配对训练数据的弱光增强网络&＃xff0c;从而避免了过拟合的风险。 结果表明&＃xff0c;该方法适用于各种光照条件。

2&＃xff09;通过迭代应用&＃xff0c;设计了一种能够逼近像素级和高阶曲线的图像特定曲线。 这种特定于图像的曲线可以在很宽的动态范围内有效地执行映射。

3&＃xff09;通过非参考损失函数间接评价增强质量&＃xff0c;证明了在没有参考图像的情况下训练深度图像增强模型的潜力。 

我们的Zero-DCE方法在定性和定量指标方面都取代了最先进的性能。 更重要的是&＃xff0c;它能够改善高级视觉任务&＃xff0c;如人脸检测&＃xff0c;而不会带来很大的计算负担。 它能够实时处理图像&＃xff08;对于GPU上640×480×3大小的图像&＃xff0c;约为500 fps)&＃xff0c;训练只需30分钟。 

2. Related Work

Conventional Methods.

基于HE的方法通过扩展图像的动态范围来实现光增强。 图像的直方图分布在全局[7,10]和局部[15,27]两个层次上进行调整。 也有各种采用Retinex理论[13]的方法&＃xff0c;该理论通常将图像分解为反射率和光照。 通常假定反射率分量在任何光照条件下都是一致的&＃xff1b; 因此&＃xff0c;光增强被描述为一个照度估计问题。 在Retinex理论的基础上&＃xff0c;提出了几种方法。 王等人[29]设计了一种处理非均匀光照图像时保持自然度和信息的方法&＃xff1b; 傅等人[8]提出了一种加权变分模型来同时估计输入图像的反射率和照度&＃xff1b; 郭等人[9]首先通过搜索RGB通道中每个像素的最大亮度估计出粗照度图&＃xff0c;然后通过结构先验对粗照度图进行细化&＃xff1b; 李等人[19]提出了一种新的考虑噪声的Retinex模型。 通过求解一个优化问题来估计光照图。 与传统方法中偶然改变图像直方图的分布或依赖于可能不准确的物理模型的方法相反&＃xff0c;本文提出的零DCE方法通过图像特定的曲线映射产生增强的结果。 这样的策略能够在图像上进行光增强&＃xff0c;而不会产生不切实际的伪影。 Yuan和Sun[36]提出了一种自动曝光校正方法&＃xff0c;该方法通过全局优化算法估计给定图像的S形曲线&＃xff0c;并通过曲线映射将每个分割区域推到其最优区域。 与[36]不同的是&＃xff0c;我们的Zero-DCE是一种纯数据驱动的方法&＃xff0c;在设计非参考损失函数时考虑了多种光增强因素&＃xff0c;因此具有更好的鲁棒性、更宽的图像动态范围调整和更低的计算负担。 

Data-Driven Methods.

数据驱动的方法主要分为两个分支&＃xff0c;即基于CNN的方法和基于GAN的方法。 大多数基于CNN的解决方案依赖于配对数据进行监督训练&＃xff0c;因此它们是资源密集型的。 通常情况下&＃xff0c;配对数据是通过自动光衰减、在数据捕获过程中改变摄像机的设置或通过图像修饰来合成数据来彻底收集的。 例如&＃xff0c;LLNET[20]是在随机伽玛校正模拟的数据上训练的&＃xff1b; 通过改变图像采集过程中的曝光时间和ISO来采集成对低/正常光图像的LOL数据集[32]&＃xff1b; MIT-Adobe Fivek数据集[3]包括5000张原始图像&＃xff0c;每一张都有五张由训练有素的专家制作的润色图像。 

最近&＃xff0c;Wang等人[28]通过估计光照图提出了一种曝光不足的照片增强网络。 这个网络是根据三位专家修改的配对数据进行训练的。 可以理解的是&＃xff0c;基于配对数据的光增强解决方案在许多方面是不切实际的&＃xff0c;考虑到收集足够的配对数据所涉及的高成本&＃xff0c;以及在训练深度模型时包含人为的和不切实际的数据。 这种限制反映在基于CNN的方法泛化能力差上。 当这些方法用不同光强的真实图像呈现时&＃xff0c;会产生伪影和颜色转换。 

无监督的基于GAN的方法具有消除配对数据进行训练的优点。 InnlightenGAN[12]&＃xff0c;一种无监督的基于GAN的先锋方法&＃xff0c;使用未配对的低/正常光数据来学习增强微光图像。 通过考虑精心设计的鉴别器和损失函数&＃xff0c;对网络进行了训练。 然而&＃xff0c;无监督的基于GAN的解决方案通常需要仔细选择未配对的训练数据。 

所提出的Zero-DCE在三个方面优于现有的数据驱动方法。 首先&＃xff0c;它探索了一种新的学习策略&＃xff0c;即一种需要零参考的学习策略&＃xff0c;从而消除了对配对和非配对数据的需要。 其次&＃xff0c;通过考虑精心定义的非参考损失函数来训练网络。 该策略允许对输出图像质量进行隐式评估&＃xff0c;其结果将被重申用于网络学习。 第三&＃xff0c;我们的方法效率高&＃xff0c;成本效益好。 这些优势得益于我们的零参考学习框架、轻量级网络结构和有效的非参考损失函数。 

3. Methodology

我们在图2中介绍了Zero-DCE的框架。深度曲线估计网络 (dce-net) 被设计为在给定输入图像的情况下估计一组最佳拟合的光增强曲线 (LE曲线)。然后&＃xff0c;该框架通过迭代地应用曲线来映射输入的RGB通道的所有像素&＃xff0c;以获得最终的增强图像。接下来&＃xff0c;我们将在以下各节中详细介绍Zero-DCE中的关键组件&＃xff0c;即LE-curve&＃xff0c;dce-net和非参考损失函数。

 3.1. Light-Enhancement Curve (LE-curve)

受照片编辑软件中使用的曲线调整的启发&＃xff0c;我们尝试设计一种曲线&＃xff0c;该曲线可以自动将弱光图像映射到其增强版本&＃xff0c;其中自适应曲线参数仅取决于输入图像。这种曲线的设计有三个目标: 1) 增强图像的每个像素值应在 [0,1] 的归一化范围内&＃xff0c;以避免溢出截断引起的信息损失; 2) 该曲线应单调&＃xff0c;以保留相邻像素的差异 (对比度)&＃xff1b;3) 在梯度反向传播过程中&＃xff0c;该曲线的形式应尽可能简单且可微。

为了实现这三个目标&＃xff0c;我们设计了一个二次曲线&＃xff0c;该曲线可以表示为:

 我们给出了图3中三个通道的估计曲线参数图的示例&＃xff0c;如图所示&＃xff0c;不同通道的最佳拟合参数图具有相似的调整趋势但不同的值&＃xff0c;表明低光图像的三个通道之间的相关性和差异。曲线参数图准确地指示了不同区域的亮度 (例如&＃xff0c;墙上的两个闪光)。使用拟合图&＃xff0c;可以通过按像素方向的曲线映射直接获得增强版图像。如图3(e) 所示&＃xff0c;增强版在暗区域中显示内容并保留亮区域。

3.2. DCE-Net

为了了解输入图像与其最佳拟合曲线参数图之间的映射&＃xff0c;我们提出了一种深度曲线估计网络 (dce-net)。Dce-net的输入是低光图像&＃xff0c;而输出是对应的高阶曲线的一组像素级曲线参数图。我们采用了由七个具有对称级联的卷积层组成的普通CNN。每层由32个大小为3 × 3和步幅1的卷积核组成&＃xff0c;然后是remu激活函数。我们丢弃了破坏相邻像素关系的下采样和批归一化层。最后一个卷积层后面是Tanh激活函数&＃xff0c;该函数产生8次迭代 (n &＃61; 8) 的24个参数图&＃xff0c;其中每次迭代需要三个通道的三个曲线参数图。补充材料中提供了DCENet的详细架构。值得注意的是&＃xff0c;对于大小为256 × 3的输入图像&＃xff0c;dce-net仅具有79,416可训练的参数和5.21G Flops。因此&＃xff0c;它是轻量级的&＃xff0c;并且可以用于计算资源有限的设备&＃xff0c;例如移动平台。

3.3. Non-Reference Loss Functions

为了在dce-net中实现零参考学习&＃xff0c;我们提出了一组可微的非参考损失&＃xff0c;使我们能够评估增强图像的质量。采用以下四种类型的损失来训练我们的dce-net。

Spatial Consistency Loss.

 Exposure Control Loss.

 Color Constancy Loss.

 Illumination Smoothness Loss.

 4. Experiments

Implementation Details.

 4.1. Ablation Study

我们进行了几项消融研究&＃xff0c;以证明Zero-DCE的每个成分的有效性&＃xff0c;如下所示。在补充材料中可以找到更多的定性和定量比较。

Contribution of Each Loss

 Effect of Parameter Settings.

 Impact of Training Data.

4.2. Benchmark Evaluations 

5. Conclusion

我们提出了一种用于弱光图像增强的深度网络。它可以用零参考图像端到端训练。这是通过将弱光图像增强任务公式化为图像特定的曲线估计问题&＃xff0c;并设计一组可微的非参考损耗来实现的。实验证明了我们的方法相对于现有的光增强方法的优越性。在以后的工作中&＃xff0c;我们将尝试引入语义信息来解决困难的情况并考虑噪声的影响。