Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural
Real-Time Single Image and Video Super-Resolution Using an Efficient
Sub-Pixel Convolutional Neural Network
摘要
近年来，在单像超分辨率重构精度与计算性能方面基于深层神经网络的多种模型取得了显著成果。这些方法中，在低分辨率输入图像被放大到高分辨率空间之前使用的是一个滤波器（通常是双三次插值）。其含义是在HR空间中执行超分辨率操作。我们证明这种做法次之，并带来了更高的计算复杂度。为了实现这一点——即实时1080p视频SR——我们提出了第一个卷积神经网络K2 GPU架构设计方案。为此我们提出了一种创新型CNN架构——它能够在LR输入图像上提取特征图作为基础处理单元。此外我们还引入了一个高效子像素卷积层——该层能够学习升序滤波器阵列并将LR特征图升级至HR输出端点从而取代传统手工双三次插值滤波器并为每个特征图单独训练更为复杂的升频滤波器这样不仅提升了重建质量还显著降低了整体运算负担
介绍
全局超分辨率（SR）问题假设低分辨率（LR）数据相当于高分辨率（HR）数据经过不可逆低通滤波后的模糊版本，并包含下采样和平滑处理步骤作为补充信息源。由于不可逆低通滤波过程及后续子采样导致了高频细节无法恢复，在这种情况下超分辨率问题被认为是高度病态的（ill-posed）。值得注意的是，在超分辨率操作中存在多解性，在这种情况下该操作可能导致多个潜在解；正确解的确定往往面临挑战；基于许多 SR 技术的一个关键假设是认为大部分高频细节在低频分量中被多次编码；这种重建过程通常依赖于图像统计模型来恢复缺失的信息
在现有研究中，默认假设多个图像可以被视为从不同视角捕捉同一场景的低分辨率（LR）实例，并认为这些图像都具有独特的初始仿射变换参数。基于附加信息的方法通常被归类为多图像超分辨率（SR）技术，并通过整合额外信息来限制问题不适定性并尝试逆向恢复采样过程的方式实现高分辨率重建；然而，在这种情况下所得结果的质量往往受到复杂度计算的影响。另一种方法则是单图像超分辨率（SISR）技术，在该框架下通过学习自然数据中的隐式冗余信息来直接恢复高分辨率细节；这类方法主要关注于单个低分辨率实例的空间局部相关性和视频序列中的时间相关性特征提取；为了获得可靠的重建结果，在这种情况下必须引入先验知识来约束解空间。
**贡献
ESP CN 的基本原理是亚像素级卷积操作 (sub-pixel convolution operation) 。如图所示，原始输入是一张分辨率较低的图片 ，经过两次连续的卷积处理后 ，系统能够提取出更高层次的空间特征 ，输出特征图的空间维度与输入保持一致 ，但输出通道的数量则相应增加
（
是图像的目标放大倍数)。将每个像素的
多个通道被重新排列成一个 r×r 的区域，并对应至高分辨率图像中的一个 r×r 大小的子块，并进而形成大小为
x-H×W 的特征图经过重新排列形成 1×rH×rW 尺寸的高分辨率图像。尽管被称为 sub-pixel convolution, 但这一变换并未涉及实际的卷积操作。借助 sub-pixel convolution 技术, 在将低分辨率图像放大至高分辨率的过程中, 插值函数会被前一层卷积操作自然隐含地包含其中，并且能够自动学习相应的参数配置以优化放大效果。仅在最后一层完成尺寸转换操作, 而之前的卷积运算均基于低分辨率数据执行, 因此整体计算效率相对较高
方法
SISR的目标是基于低分辨率（LR）图及其对应的原始高分辨率（HR）图估计出HR图。这种降采样操作是确定性的且已知的：通过将高分辨率图应用高斯滤波器进行卷积处理后以固定步长r对该处理结果进行降采样即可得到对应的低分辨率图。其中我们将该缩放因子称作升序比例通常情况下两者均具有C个颜色通道因此可分别表示为尺寸为H×W×C和rH×rW×C的空间张量
该网络在输出层进行上采样，在设计架构时相较于SRCNN方法采用了不同的策略。具体而言，在输入层采用双三次插值的方式，在训练和测试过程中均降低了计算复杂度。实验结果表明，在测试阶段所使用的图像尺寸比SRCNN方法中的图像缩小了r×r倍（其中r为上采样尺度），因此运算速度提高了r×r倍。在训练过程中，则可以通过对原始数据执行shuffling操作前的数据格式转换来实现。值得注意的是, 本文采用了tanh替代relu作为激活函数。
参考
https://zhuanlan.zhihu.com/p/25532538?utm_source=tuicool&utm_medium=referral