（A two-channel convolutional neural network for imagesuper-resolution）论文阅读笔记
作者提出了一种双通道卷积神经网络用于单图像超分辨率重建，该方法包含浅通道和深通道。浅通道用于恢复图像轮廓，深通道用于提取细节纹理信息。与现有方法不同，该模型直接学习端到端映射，无需预处理，通过反卷积嵌入到两通道中以提高训练效率。在重建阶段，深通道采用多尺度方式以同时提取短尺度和长尺度纹理信息。实验结果表明，该方法在精度和视觉表现上优于现有方法。
摘要：作者提出了一种双通道卷积神经网络，旨在实现单图像超分辨率重建。该网络由浅通道和深通道组成。大多数基于卷积神经网络的超分辨率重建方法都依赖于浅通道，然而这容易导致细节信息的丢失。此外，这些方法通常会采用预处理手段，例如双三次插值将低分辨率图像放大至与高分辨率图像相同尺寸，这会引入噪声。第一，作者所提出的网络架构包含两个独立的通道。浅通道主要负责重建图像的边缘特征，而深通道则专注于提取细节纹理信息。第二，该网络通过端到端学习直接映射，无需人工干预。反卷积操作被嵌入到两个通道中，这不仅有助于提升训练效率，还能有效降低超分辨率重建的计算复杂度。最后，在重建阶段，深通道采用了多尺度处理策略，从而能够同时捕获图像中的短尺度和长尺度纹理特征。在多个公开的数据集（包括图像和视频）上进行实验验证，结果表明，作者提出的方法在重建精度和视觉质量方面均优于现有方法。
引言
SISR的目标是通过观测到的低分辨率图像恢复高分辨率图像。在机器学习领域，深度学习作为一种新兴技术，其目标是模仿大脑处理信息的方式，构建一个网络来表示数据，例如图像、文本。卷积神经网络属于有监督学习模型，近年来在计算机视觉任务中展现出卓越的效果，例如图像分类、目标检测、语义分割等。在放大因子较大的情况下，超分辨率（SR）问题表现出明显的不适定性特征。
早期的SISR方法是建立在插值方法的基础之上。重建算法受到广泛关注，能够整合多种先验知识。
基于深度卷积神经网络（CNN）的方法，为图像超分辨率（SR）问题提供了新的研究方向和创新思路。Dong等学者提出的SRCNN模型，因其结构简单且具有优异的性能，受到了众多研究者的广泛关注。作者通过减少网络参数量，成功提出了FSRCNN模型。然而，该模型仍存在一些局限性。首先，原始的低分辨率（LR）图像通过双三次插值（BICUBIC）算法上采样到目标分辨率，作为网络输入层的特征图。接着，细节重建效果仍不够理想。因此，作者提出了一种两分支结构的方法，旨在弥补这一缺陷。
相关工作
主要依赖于深度学习的超分辨率重建（SR）技术，SRCNN结构相对简单，每层均采用固定数量的滤波器。研究者Dong等人尝试增加网络深度，但最终发现这会导致网络性能下降。
在SRCNN中，图像经过上采样这一过程。然而，这一过程不可避免地引入噪声，从而在网络的特征提取阶段产生不良效果。鉴于此，嵌入反卷积上采样模块至关重要。
基于上文的启发，作者提出了一种联合网络的设计方案，旨在融合浅层网络和深层网络的优缺点。其中，浅层网络仅包含三层，而深层网络则包含19层。
在卷积核尺寸一致的情况下，网络仅能提取相同范围的纹理信息。受到这一现象的启发，作者基于此，采取了多尺度（采用不同尺寸的卷积核）的策略。
提出的方法
深的网络包含四个阶段：分别是特征提取（3层）、特征映射（5层）、上采样（3层）以及多尺度重建（8层）。该网络能够持续提取特征。因此，它能够精确恢复相关信息。
特征提取
特征提取模块由三个卷积层构成，直接从低分辨率输入图像Y中提取特征。三个卷积层均采用3×3的卷积核，输出64个特征图。无需池化操作或全连接层，每个卷积层后接激活函数模块。SRCNN采用ReLU激活函数，其梯度特性导致大部分梯度消失，从而在一定程度上避免了梯度消失问题。PReLU不仅保持了上述优点，还具有加速网络收敛的作用。
特征映射
该特征映射由五个卷积层构成。其中第一个卷积层采用1×1的卷积核，其数量为12个，主要作用是进行特征降维，将输入的64维特征压缩至12维空间。随后的四个卷积层（12×3×3）设计用于增强模型的非线性特性。
上采样
首先6411大小的卷积核。然后是反卷积操作。
多尺度重建
HR的恢复常常依赖各种细节信息，所以我们可以采取多尺度重建的方式。
该部分由10个可训练的层构成。前四个层包含64个3×3尺寸的卷积核，用于提取高维特征。随后的多尺度卷积层包含不同尺寸的卷积核（包括7×7、5×5、3×3和1×1尺寸），这些卷积核是并行的。每个卷积核输出4个特征图，从而并联生成总共16个特征图。最后，经过1×1尺寸的卷积层。
reference
- Li S, Fan R, Lei G, 等人. 基于双通道卷积神经网络的图像超分辨率重建方法[J]. Neurocomputing, 2018, 275: 267-277.