读论文：Image Super-Resolution by Neural Texture Transfer
文章：https://arxiv.org/abs/1903.00834
源码：https://github.com/ZZUTK/SRNTT
1 介绍
论文主要贡献：
- 针对图像超分辨率重建领域中的一个重要挑战——如何在不依赖训练数据的情况下实现高清晰度图像重建的问题展开深入研究，在理论上证明了基于稀疏表示的方法无法完全突破SISR算法在缺乏纹理细节方面的性能瓶颈，并在此基础上提出了更具普适性的Super-Resolved Super-Definition (SRSR)框架理论框架。该框架理论框架不仅能够有效解决传统稀疏表示方法在缺乏纹理细节方面的性能瓶颈问题，并且还能够放宽现有基于稀疏表示的方法对一致性的假设这一重要前提条件。
- 针对超分辨率重建中的关键难点——如何利用有限数量的真实训练数据实现高质量目标图像重建的问题展开系统性研究，在方法论上首次提出了基于端到端深度学习模型Super-Resolved Network Transformer with Neighbor Training Tree (SRNTT)的新颖解决方案。该方法采用多尺度神经纹理传递技术实现了对任何给定参考条件下低分辨率输入图像的有效恢复与重建过程。
- 为了便于后续研究者更好地理解和应用所提出的Super-Resolved Super-Definition (SRSR)框架理论框架以及基于端到端深度学习模型Super-Resolved Network Transformer with Neighbor Training Tree (SRNTT)，本研究还专门构建了一个新的标准化数据集CUFED5（Composite Ultra-Fidelity Edge and Detail Database version 5）。该基准数据集包含大量具有不同相似度特征的真实世界低分辨率图片及其对应高分辨率参考图片配准结果数据集，并可被广泛应用于评估和改进基于稀疏表示与深度学习相结合的各种超分辨率重建相关算法的技术性能指标与实际应用效果评估标准体系中
2 相关工作
基于深度学习的方法实现了单图像超分辨率重建技术（SISR）。该方法通过整合与视觉感知相关的约束条件（包括感知损失与对抗性损失），成功地恢复出更具视觉合理性的人工合成超分辨率图像。其中：
●VGG网络被用于计算(perceptual loss)；
●GANs则被用来计算(adversarial-based losses)；
2 基于参考的超分辨率重建
●RefSR方法要求输入的高分辨率图像与低分辨率图像需高度精确配准
●基于RefSR方法利用光流算法实现输入数据与参考图象的精准配准
●SRNTT将提取出的关键纹理特征成功整合到生成结果中；该网络深度模型通过对多尺度特征空间中的信息提取与处理，在不同比例、旋转或非线性扭曲变形的基础图象重建方面展现出卓越的能力
3 本文方法
1.Feature Swapping（特征交换）
计算LR图像第i块特征图与在Reference图像中第j块特征图之间的相似程度。其中，在经过一致的上采样和下采样处理后使Reference图像变得模糊以与LR图像匹配。
等式（2）中的Ref是用来匹配的，等式（3）中的Ref是用来交换的。
2.Neural Texture Transfer（神经纹理转移）
其中GR代表Gram矩阵；而所有LR块对应的所有最佳匹配相似度评分由S^*_l给出；正则化系数由λ_l给出。
3.训练目标函数
重建损失：
感知损失：VGG
对抗损失：WGAN-GP
4 数据集
CUFED5支持不同级别的相似度图片，并在CUFED5数据集上进行训练，在Sun80和Urban100数据集中分别进行测试
5 实验结果
1.定量分析（PSNR/SSIM）
SRNTT-l_2为SRNTT的简化模型仅最小化MSE.
2.通过用户研究进行定性评估
3.消融实验
参考相似度影响：
特征交换层：
纹理损失函数的影响：
6 总结
本文基于更为通用的RefSR框架，在参考图像可为任意图像的前提下进行研究。在此基础上开发出了SRNTT网络结构，这种端到端的设计架构能够从参考图像中执行多级自适应纹理传输过程，并有效恢复出具有更合理纹理特征的目标图像。通过设计合理的定量与定性实验验证了该方法在性能上的显著优势与适用范围。同时，在实验阶段我们开发了一个新的CUFED5数据集来辅助评估RefSR相关技术方案的质量指标，并将该方法作为未来研究的重要方向之一进行了深入探讨。