图像超分辨率重构开题报告_图像超分辨率重建

首先介绍图像超分辨率重建技术，图像超分辨率重建技术分为两种，一种是从多张低分辨率图像合成一张高分辨率图像，另外一种是从单张低分辨率图像获取高分辨率图像，在本专栏中，我们使用单幅图像超分辨率重建技术(SISR)。

在这些方法中，可以分为三类，基于插值，基于重建，基于学习。基于插值的方法实现简单，已经广泛应用，但是这些线性的模型限制住了它们恢复高频能力的细节。基于稀疏表示的技术[1]通过使用先验知识增强了线性模型的能力。这类技术假设任意的自然图像可以被字典的元素稀疏表示，这种字典可以形成一个数据库且从数据库中学习到低分辨率图像到高分辨率图像的映射，但是这类方法计算复杂，需要大量计算资源。

基于CNN(卷积神经网络)的模型SRCNN[2]首先将CNN引入SISR中，它仅仅使用三层网络，就取得了先进的结果。随后，各种基于深度学习的模型，进入SISR领域，大致分为以下两个大的方向。一种是追求细节的恢复，以PSNR,SSIM等评价标准的算法，其中以SRCNN模型为代表。另外一种以降低感知损失为目标，不注重细节，看重大局观，以SRGAN[3]为代表的一系列算法。两种不同方向的算法，应用的领域也不相同。在医学图像领域，医生需要图像的细节，以致于做出精确的判断，而不是追求图像整体的清晰，因此，本专栏中将研究追求细节恢复的算法，以及在医学上的应用。

追求细节恢复的算法，也分为两个流派，一是使用插值作为预处理的算法，二是不使用插值，将上采样过程融入网络中的算法。

1,使用插值作为预处理的算法

SRCNN模型[2]作为深度学习引入SISR的开山制作，使用了双三次插值作为预处理过程。

随后，VDSR模型[4]将残差结构引入到SISR，不直接学习低分辨率图像和高分辨率图像的映射，而学习两种图像的残差。残差结构的引入模型训练的收敛速度，且将更深的网络结构引入SISR，使得模型具有更宽广的感受野，模型的结构如图1。

图一

DRCN模型[5]将递归结构引入SISR，同时将模型分为三个区域，如图2所示，一是Embedding network,二是Inference network,三是Reconstruction network。这种模型的亮点在于中间的Inference network,r，和损失函数。inference共享了一个卷积的参数，一共有D层，将每一层的输出汇到了一起，然后定义了两种损失。第一种，局部损失，每一层输出的值与HR的差。第二种，所有层输出的加权平均与HR的差，组合这两种损失，构成整体损失。

图二

2，在网络种使用上采用技术替代插值

FSRCNN模型[6]通过使用反卷积替代了SRCNN模型中的插值，直接学习低分辨率图像到高分辨率图像的映射，实现了端到端的训练。

ESPCN模型[7] ESPCN的核心概念是亚像素卷积层(sub-pixel convolutional layer)。网络的输入是原始低分辨率图像，通过三个卷积层以后，得到通道数为 的与输入图像大小一样的特征图像。再将特征图像每个像素个通道重新排列成一个 rr 的区域，对应高分辨率图像中一个 HWr^2 大小的子块，从而大小为 HWr^2 的特征图像被重新排列成 rHrW*1 的高分辨率图像,如图3

图三

ESPCN模型提出的亚像素卷积层在之后的研究种广泛运用，它相比FSRCNN模型种的反卷积层，更能学习到低分辨率到高分辨率图像的上采用种的非线性。

SRDenseNet模型[8]将DenseNet引入SISR领域，DenseNet在稠密块(dense block)中将每一层的特征都输入给之后的所有层，使所有层的特征都串联(concatenate)起来，而不是像ResNet那样直接相加。这样的结构给整个网络带来了减轻梯度消失问题、加强特征传播、支持特征复用、减少参数数量的优点。如图4

图四

综上，最近几年超分辨率重建的研究，通过越来越深的结构，使最后几层拥有更大的感受野，去推断目标区域的像素，而要在很深的网络种实现训练，必须引入反馈机制，才能避免梯度消失，反馈机制包括残差、densenet块、递归等方法。

本专栏将逐步细讲超分辨率重建paper，和keras代码实现。

主要参考文献

[1] J. Yang, J. Wright, T. Huang, and Y. Ma. Image superresolution as sparse representation of raw image

[2] C. Dong, C. C. Loy, K. He, and X. Tang. Image super-resolution using deep convolutional networks. IEEE

transactions on pattern analysis and machine intelligence,38(2):295–307, 2016.

[3] Ledig C , Theis L , Huszar F , et al. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network[J]. 2016.

[4] J. Kim, J. Kwon Lee, and K. Mu Lee. Accurate image superresolutionusing very deep convolutional networks. In IEEE Conference on Computer Vision and Pattern Recognition,pages 1646–1654, 2016.

[5] J. Kim, J. Kwon Lee, and K. Mu Lee. Deeply-recursive convolutionalnetwork for image super-resolution. In IEEE Con-ference on Computer Vision and Pattern Recognition, pages1637–1645, 2016.

[6] Dong C , Loy C C , Tang X . Accelerating the Super-Resolution Convolutional Neural Network[J]. 2016.

[7] Shi W , Caballero J , Ferenc Huszár, et al. Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network[C]// CVPR 2016. IEEE, 2016.

[8] Tong T , Li G , Liu X , et al. Image Super-Resolution Using Dense Skip Connections[C] 2017 IEEE International Conference on Computer Vision (ICCV). IEEE Computer Society, 2017.