【论文阅读】GradientGuidedImageDeblockingUsingConvolutionalNeuralNetworks的详解

论文&＃xff1a;Gradient Guided Image Deblocking Using Convolutional Neural Networks
作者&＃xff1a;Cheolkon Jung
年份&＃xff1a;2019年
期刊&＃xff1a;ACM Multimedia Asia

基于块的变换编码本质上会导致块状伪影&＃xff0c;这会严重降低图片质量&＃xff0c;尤其是在高压缩率下。压缩图像的梯度具有与原始梯度不同的特征&＃xff0c;原始梯度沿块边界在像素值上有巨大变化。本文提出了基于CNN的梯度引导图像去块。在输入块状图像的梯度信息的指导下&＃xff0c;所提出的网络成功地保留了纹理边缘&＃xff0c;同时减少了块状边缘&＃xff0c;从而从压缩降级中恢复了原始的清晰图像。实验结果表明&＃xff0c;输入压缩图像中的梯度信息有助于减少伪像&＃xff0c;并且该方法在视觉质量和客观测量方面均实现了显着的性能提升。

深度学习已被证明具有减少压缩图像中的块状伪像的强大功能。但是&＃xff0c;先前的工作没有考虑网络体系结构中的图像先验。本文假设梯度稀疏性先验使网络模型更精确地检测出阻塞伪像。梯度已被证明是图像恢复任务的有用提示。基于块的压缩由于独立编码而没有考虑与相邻块的相关性&＃xff0c;从而导致块边界处的严重变化。由于独立的基于块的编码&＃xff0c;像素值在块边界处发生了严重变化&＃xff0c;因此它们的梯度值变高。图1显示了由JPEG图像压缩引起并由提出的梯度推断网络&＃xff08;GiN&＃xff09;估计的梯度图。 GiN估计的梯度图成功去除了沿块边界的块状边缘&＃xff0c;这表明梯度恢复有助于图像去块。因此&＃xff0c;本文利用压缩图像中的梯度信息作为辅助信息&＃xff0c;对图像进行去块。仅通过边缘检测从输入的压缩图像中获得梯度信息。
本文的主要贡献如下&＃xff1a;
&＃xff08;1&＃xff09;提出基于CNN的梯度引导图像去块。 在压缩图像的梯度信息的指导下&＃xff0c;所提出的网络成功地保持了纹理边缘不被压缩降解&＃xff0c;减少了块状边缘。
&＃xff08;2&＃xff09;结合了GiN和图像推理网络&＃xff08;IiN&＃xff09;的两个协作子网&＃xff0c;以进行梯度引导的图像去块。GiN估计原始图像的梯度图&＃xff0c;IiN生成无伪像的图像。

注&＃xff1a; JPEG是常见的有损编码方法。
尽管JPEG由于其规则性和硬件实现的简便性而在各种应用程序中普遍采用JPEG&＃xff0c;但它给压缩图像带来了不希望的伪像。
在JPEG编码器中&＃xff0c;基于8×8块的独立变换和量化不可避免地在块边界引入了令人讨厌的不连续性。 低比特率时严重出现阻塞伪像。

2.1 网络结构

传统的去块方法仅将压缩伪像减少视为不适定问题&＃xff0c;忽略了压缩图像的先验信息。 与传统方法不同&＃xff0c;本文将梯度推断和图像推断结合到一个统一的框架中&＃xff0c;以执行梯度引导的图像去块。 如图2所示。

基于CNN采用两个协作子网进行图像去块&＃xff1a;梯度推理网络&＃xff08;GiN&＃xff09;和图像推理网络&＃xff08;IiN&＃xff09;。 GiN估计原始图像的梯度图&＃xff0c;而IiN生成无伪像的图像&＃xff0c;即原始图像。 两个子网具有相似的结构&＃xff1a;特征提取&＃xff0c;具有多个卷积层的多个单元的堆栈以及重构网络。 将&＃x1d44b;和Θ分别表示为输入权重和网络权重&＃xff0c;如下所示&＃xff1a;

其中&＃x1d453;&＃x1d452;&＃x1d465;&＃x1d461;表示特征提取函数&＃xff0c;&＃x1d435;0是提取的要发送到下一层的特征。 假设&＃x1d441;个卷积单元堆叠在特征提取的后面&＃xff0c;得到&＃xff1a;

其中&＃x1d453;&＃x1d45b;表示第&＃x1d45b;个单位函数&＃xff0c;&＃x1d435;&＃x1d45b;-1和&＃x1d435;&＃x1d45b;分别是第&＃x1d45b;个单位的输入和输出。 最后&＃xff0c;提出的网络模型在重建网络中使用卷积层来重建残差图像&＃xff0c;如下所示&＃xff1a;

其中&＃x1d453;&＃x1d45f;&＃x1d452;&＃x1d450;表示重建函数&＃xff0c;&＃x1d435;&＃x1d45f;&＃x1d452;&＃x1d450;表示重建残差。 如图2所示&＃xff0c;&＃x1d453;&＃x1d452;&＃x1d465;&＃x1d461;和&＃x1d453;&＃x1d45f;&＃x1d452;&＃x1d450;由一个卷积层进行。 将&＃x1d439;表示为所提出模型的函数&＃xff0c;其公式如下&＃xff1a;

2.2 Gradient Inference Network

梯度推理网络&＃xff08;GiN&＃xff09;旨在学习从块状图像及其梯度图到ground truth的组合的映射。 如图2所示&＃xff0c;特征提取是通过具有64个特征图的卷积层进行的。 GiN包含4个卷积单元&＃xff0c;由4层组成&＃xff0c;以整流线性单元&＃xff08;ReLu&＃xff09;作为激活函数。 将∇X和∇&＃x1d44c;分别表示为输入图像的梯度图及其ground truth情况。 通过最小化以下均方误差&＃xff08;MSE&＃xff09;损失函数来预测输出补丁&＃xff1a;

&＃x1d439;&＃x1d43a;表示GiN函数。 图1说明GiN成功去除了块状边缘&＃xff0c;同时保留了原始图像的纹理边缘。

2.3 Image Inference Network

图像推断网络&＃xff08;IiN&＃xff09;在GiN的指导下估算无伪影的图像。 在IiN中&＃xff0c;将6个卷积层作为一个卷积单元&＃xff0c;每个单元都共享GiN中相应单元的特征。 串联公式如下&＃xff1a;

其中B&＃x1d45b;G表示来自GiN的特征图。 将MSE损失函数最小化&＃xff0c;以估计最佳的无伪像&＃xff0c;如下所示&＃xff1a;

其中&＃x1d439;&＃x1d43c;表示IiN函数&＃xff0c;&＃x1d44d;表示与GiN共享的特征图&＃xff0c;&＃x1d44c;表示ground truth的Y通道。 最终的目标函数是等式&＃xff08;5&＃xff09;和&＃xff08;7&＃xff09;的组合。 &＃xff0c;并且同时进行了优化。

3.1 准备

通过使用MATLAB JPEG编码器以质量因子q &＃61; 40、30、20、10压缩原始图像来生成输入块图像。 所有实验均根据与ARCNN&＃xff0c;TNRD 和DnCNN 先前方法相同的协议在亮度通道上进行。训练时&＃xff0c;将JPEG压缩的色块用作输入&＃xff0c;并将相应的ground truth用作标签。 考虑到训练时间和存储复杂性&＃xff0c;从图像对中提取了步长为20的32×32色块。 每个图像对都是随机翻转或旋转的&＃xff0c;因此最终的训练数据是两次。 将批处理大小设置为32&＃xff0c;初始学习率设置为10−4&＃xff0c;然后每5个周期除以2。

3.2 研究

如图所示&＃xff0c;梯度引导会影响去块性能。 也就是说&＃xff0c;与使用GiN的IiN相比&＃xff0c;单独使用IiN可以实现相对较低的PSNR和SSIM改善。 它验证了梯度引导在图像恢复中起着重要作用。 除了LIVE1数据集中的PSNR结果外&＃xff0c;具有GiN的IiN通常以较低的 quality factor&＃xff08;即较高的压缩率&＃xff09;获得更多的增益。
表1显示了units数量影响去块性能&＃xff08;更多的units会产生更好的性能&＃xff09;。 本文为GiN采用四个units。

3.3 比较

与三种减少伪影的方法进行了比较&＃xff1a;ARCNN&＃xff0c;TNRD 和最新的通用图像恢复框架DnCNN 。如表2所示&＃xff0c;采用PSNR和SSIM作为定量测量的评估指标&＃xff0c;这些指标广泛用于图像质量评估。总体而言&＃xff0c;所提出的方法在所有评估指标上均优于ARCNN和TNRD&＃xff0c;并且比DnCNN具有更好的性能。在图4和图5中&＃xff0c;当quality factor分别为10和20时。可以看出&＃xff0c;所提出的方法有效地去除了由块状图像的梯度信息引导的块状伪影&＃xff0c;且可以恢复比以前更高质量的图像。恢复的图像的质量改进来自块边界附近和块内的改进。这是因为本文为图像推断和梯度推断建立了两个子网&＃xff1a;IiN和GiN。仔细观察发现&＃xff0c;所提出的方法可以恢复更精细的纹理边缘而AR-CNN和DnCNN易于在纹理上产生失真。 因此&＃xff0c;所提出的方法产生具有良好纹理的视觉上令人愉悦的解块结果。

本文提出用于图像去块的梯度引导CNN。 采用GiN和IiN的两个协作子网&＃xff0c;并同时对其进行优化&＃xff0c;以恢复原始图像及其梯度图。 GiN估计原始图像的梯度图&＃xff0c;而IiN产生无伪像的图像。 在压缩图像的梯度信息的指导下&＃xff0c;所提出的网络成功地保留了输入压缩图像的纹理边缘&＃xff0c;同时减少了块状边缘。 实验结果表明&＃xff0c;该方法在视觉质量和定量测量方面均优于最新的图像去块网络模型。