超分辨率技术的全球研究进展与应用现状综述

　　图像超分辨率率(super resolution,SR)是指由一幅低分辨率图像(low resolution,LR)或图像序列恢复出高分辨率图像(high resolution,HR)。HR意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。要获得高分辨率图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制，在很多场合和大规模部署中很难实现。因此，利用现有的设备，通过超分辨率技术获取HR图像具有重要的现实意义。

（一）国外研究现状

　　超分辨率概念最早出现在光学领域。在该领域中，超分辨率是指试图复原衍射极限以外数据的过程。Toraldo di Francia在1955年的雷达文献中关于光学成像第一次提出了超分辨率的概念。复原的概念最早是由J.L.Harris和J.w.Goodman分别于1964年和1965年提出一种称为Harris-Goodman频谱外推的方法。这些算法在某些假设条件下得到较好的仿真结果，但实际应用中效果并不理想。Tsai&Huang首先提出了基于序列或多帧图像的超分辨率重建问题。1982，D.C.C.Youla和H.Webb在总结前人的基础上，提出了凸集投影图像复原(Pocs)方法。1986年，S.E.Meinel提出了服从泊松分布的最大似然复原(泊松-ML)方法。1991年和1992年，B.R.Hunt和PJ.Sementilli在Bayes分析的基础上，提出了泊松最大后验概率复原(泊松-MAP)方法，并于1993年对超分辨率的定义和特性进行了分析，提出了图像超分辨率的能力取决于物体的空间限制、噪声和采样间隔。

　　近年来，图像超分辨率研究比较活跃，美国加州大学Milanfar等人提出的大量实用超分辨率图像复原算法， Chan等人从总变差正则方面，Zhao等人、Nagy等人从数学方法、多帧图像的去卷积和彩色图像的超分辨率增强方面，对超分辨率图像恢复进行了研究。Chan等人研究了超分辨率图像恢复的预处理迭代算法。此外，Elad等人对包含任意图像运动的超分辨率恢复进行了研究；Rajan和Wood等人分别从物理学和成像透镜散射的角度提出了新的超分辨率图像恢复方法；韩国Pohang理工大学对各向异性扩散用于超分辨率。Chung-Ang图像科学和多媒体与电影学院在基于融合的自适应正则超分辨率方面分别进行了研究。Yang等人提出了使用图形块的稀疏表示来实现超分辨率。他们从一些高分辨率图像中随机选取一些块组成一个过完备的词典，接着对于每一个测试块，通过线性规划的方法求得该测试块在这个过完备的词典下的稀疏表示，最后以这组系数加权重构出高分辨率的图像，这种方法克服了邻域嵌入方法中对于邻域大小的选择问题，即在求解稀疏表示的时候，无需指定重构所需要基的个数，其表示系数和基的个数将同时通过线性规划求解得到。然而，目前该方法的缺陷就在于过完备词典的选择，随机的选择只能实现特定领域的图像的超分辨率，对于通用图像的超分辨率效果较差。

（二）国内研究现状

　　国内许多科研院所和大学等对超分辨率图像恢复进行研究，其中部分是关于频谱外推、混叠效应的消除，其他主要是对国外超分辨率方法所进行的改进，包括对POCS算法和MAP算法的改进，对超分辨率插值方法的改进，基于小波域隐马尔可夫树(HMT)模型对彩色图像超分辨率方法的改进以及对超分辨率图像重构方法的改进。

　　2016年香港中文大学Dong等人将卷积神经网络应用于单张图像超分辨率重建上完成了深度学习在图像超分辨率重建问题的开山之作SRCNN(Super-Resolution Convolutional Neural Network)。SRCNN将深度学习与传统稀疏编码之间的关系作为依据，将3层网络划分为图像块提取(Patch extraction and representation)、非线性映射(Non-linear mapping)以及最终的重建(Reconstruction)。重建效果远远优于其他传统算法，利用SRCNN进行超分辨率图像重建与使用其他方法进行超分辨率重建的效果对比图如下图1所示。

 

 

图1 SRCNN图像重建与其他重建方式效果对比图

 

Learning a Deep Convolutional Network for Image Super-Resolution http://mmlab.ie.cuhk.edu.hk/projects/SRCNN.html

论文：

Learning a Deep Convolutional Network for Image Super-Resolution

Image Super-Resolution Using Deep Convolutional Networks