读论文：Toward Real-World Single Image Super-Resolution: A New Benchmark and A New Model
ICCV2019
论文：https://arxiv.org/pdf/1904.00523.pdf
源码：https://github.com/csjcai/RealSR
1 介绍
近年来, 急剧增长的训练过程是经过对CNN模型进行优化以达成SISR目标, 并通过引入创新性的CNN架构以及自定义损失函数来提升性能。
值得注意的是, 在这些模拟数据集上训练出的SISR模型难以直接应用于现实场景中, 因为其中的真实退化过程相对复杂得多。
- 利用不同数据集（包括BD、MD和RealSR）进行RCAN模型的训练。
- 开发并测试(LP-KPN) 模型，在RealSR新数据集中与现有的RCAN模型进行对比分析。
本文贡献：
●构建了RealSR数据集, 该数据集包含不同缩放比下的精确配准HR与LR图像对, 作为训练与评估现实世界SISR模型的基础标准。
●提出了一种新型的LP-KPN架构, 并通过实证分析展示了在真实场景下的高效性和实用性。
2 相关工作
SISR数据集：
常见数据集Set5, Set14, BSD300, Urban100 ,Manga109和DIV2K，LR图像通常是通过简单且统一的退化过程合成的，例如双三次降采样或高斯模糊。基于这些数据集训练的模型，真实的LR图像偏离模拟退化时，会产生不好的重建效果。
陈等在一个缩放比例下捕获了100对印刷明信片的图像对，但是在该数据集上训练的模型可能无法很好地推广到现实世界的自然场景。
张等使用多个焦距拍摄了500个场景。 但是，图像对在该数据集中的位置不完全对齐，因此不方便评估该数据集上训练后的模型的性能。
与它们不同的是，在本文的数据集中，我们以多种焦距捕获了来自各种场景的图像，并开发了系统的图像配准算法来精确对齐图像对，从而为现实世界中的单幅图像超分辨率提供了通用且易于使用的基准。
内核预测网络：
考虑到我们RealSR数据集中的退化内核在空间上是变化的，因此我们建议为现实世界SISR训练一个内核预测网络（KPN）。本文是率先训练用于SISR的KPN之一，我们提出LP-KPN以在尺度空间中高效地执行内核预测。
3 真实的SISR数据集
薄透镜成像：
u,v,f分别表示目标距离，成像距离和焦距。
M表示缩放因子。
由于在u远大于f的情况下（即u≫f），h₂与f之间呈现线性关系。理论分析表明，在选定合适的f值时能够调节缩放因子，在提升f值时能够生成更具细节的大尺寸图像。
数据收集：
图像对定位：
本研究设计了一种图像配准算法，用于分步配准成像数据对并构建RealSR数据集（如图所示）。
τ代表仿射变换矩阵
C是一种裁剪操作，并且使得转换后的图像IL的尺寸与原始图像IH一致
α、β为亮度调节参数
最初阶段，在应用等式（3）时，在变量\tau中引入了尺度变换参数\tau_0。该参数被定义为其值与两倍焦距f_0=2f_{min}的比例关系中所对应的尺度因子\tau=\frac{f_0}{2f_{min}}。其中\tau_0=||\mathbf{·}||_p^{robust}被称为鲁棒的p范数，并且其中p\leq 1, 其中最常用的一种就是L1范数。
在固定 I'_L 和 I_H 的情况下，在固定 I'_L 和 I_H 的情况下
接下来我们计算给定α和β值下的仿射变换矩阵τ。 由于目标函数关于τ是高度非线性的，我们可以采用局部线性近似的策略进行迭代计算。
J是C(τ◦I_L) w.r.t. τ的雅可比矩阵
w表示权重矩阵
⊙表示逐元素乘法
最后τ可以根据τ=τ+△τ更新。
使用迭代方法估计亮度调整参数和仿射变换矩阵。 基于先前缩放因子信息所给予的良好初始化基础之上，优化过程可在5次迭代内完成收敛。 收敛完成后，则可获取校准后的LR图像I^{A}_L=αC(τ◦I_L)+β。
4 基于拉普拉斯金字塔的内核预测网络
网络结构：
基于RealSR数据集采集的低分辨率（LR）图像中所对应的模糊内核会受到场景深度的影响，在此过程中景深（DoF）则会随着焦距的变化而调整。如同大多数基于卷积神经网络（CNN）的传统超分辨率重建（SISR）方法所采用的一般做法，在这种情况下直接从LR图像到HR图像的学习型映射方案往往效率不高。\n因此我们建议采用一个内核预测网络（KPN）。该预测网络能够明确学习每个像素对应的单个内核参数值与其空间位置关系。\n与现有的直接像素合成网络相比,KPN已被证明能够在降噪,动态去模糊等方面展现出更好的效率,可解释性和泛化性能
受益于拉普拉斯金字塔这一技术架构，在训练过程中通过这种机制，在训练过程中使它们拥有原始分辨率大小（即4k×4k）的接受野。与直接训练一个同样尺寸（即4k×4k）卷积核相比这一方法大幅降低了所需的计算资源。
损失函数：
5 实验
模拟数据集vs真实数据集：
在RealSR数据集上训练的SISR模型：
跨相机测试：
测试数据集以外的图像：
