ECCV2020 元学习SR Fast Adaptation to Super-Resolution Networks via Meta-Learning
文章地址：https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123720749.pdf
项目位置（暂开放开源）：https://github.com/parkseobin/MLSR
摘要：
基于传统超分辨率的方法通常会在大规模的数据集上进行训练。然而该方法无法深入分析测试图像的内部细节。自监督学习的方法（实际上等同于零样本学习）通常需要较长的时间投入。而我们的方法则采用了元学习策略，在这一过程中能够有效提升模型性能，在实际应用中实现了对目标任务的高度适应性。
1、Introduction:
大多数方法在测试阶段通常未做相应的优化调整，在这种情况下直接采用了预先训练好的参数配置。
为了利用所给LR的信息，本文将固定的模型与动态参数适应方案相结合。
我们的方法与ZSSR最接近。但是ZSSR存在的缺点：
ZSSR 缺点：该算法具有较长的执行时间。该算法不具备利用之前在大训练集上训练获得的模型的能力。
元学习可以成为解决上述问题的突破点。
7,10,13,26
7,10,13,26
7,10,13,26
7
7,10,13,26
7,10,13,26
经过专门训练的不同SR核生成大量退化图像的数据集后，我们的SR网络不仅具备广泛适应各类真实场景的能力，并且能够迅速应对各种含有真实退化机制的真实图像。
主要贡献：
采用先进的元学习方案，并充分整合外部与内部的数据作为监督机制，最终实现了这一目标。
通过本文的方法可以在无需对现有网络进行任何改动的情况下从而实现性能的优化...
2、Related Works
大段落讲述patch-recurrence的优点和好处。
该方法利用自相似性原理认为，在各个不同的尺度层次上以及各个尺度之间的自然图像中存在许多相似的图案。
ZSSR没有用到外部的数据集。
受到MAML的启发，来进行元学习的实现。这种方法不需要改变网络结构
3、Meta-Learning for Super-Resolution
本文做的工作就是将元学习与SISR问题相结合。
3.1、 Exploiting patch-recurrence for deep SR
采用一种方法，并且分别应用大量外部数据集和少量内部数据集来提升图像质量的恢复能力。
这一部分的内容主要采用基于patch-recurrence property的方法进行参数微调从而显著提升性能
3.2、Handing unknown SR kernel for deep SR
文中陈述了采用非bicubic方法生成新的训练集，并未具体说明采用了哪些技术手段，感到遗憾。
3.3 Proposed Method
3.1与3.2的结果表明，在提高SR网络性能方面以及解决非双三次内核的SR问题上均能有效运用patch-recurrence技术
由于先前的patch-recurrence方法在执行效率上存在明显不足，在这一问题上采取行动后，则通过整合元学习机制和SR技术从而显著提升了处理速度。
7
7
7
整体流程如图2所示：
具体的做法：
1、首先，在大的外部数据集上进行训练，以初始化。
接着，在元学习框架中采用MAML算法对初始参数进行优化配置，从而迅速适应新的测试图像特征。
在测试过程中,我们对给定的低分辨率(LR)测试图像优化元学习参数设置,并通过自适应参数重建对应的高分辨率(HR)图像.
首先，模型进行初始化训练，得到初始化的参数：
元学习的目标则是在测试的时候通过输入的
和其下采样的
将参数从
优化到
。
即梯度更新的公式为：
其中超参数
控制学习率。于是，优化的目标函数为：
优化通过梯度更新来完成：
采用文献【7】中的方法对目标函数进行优化。
4、Experimental Results
4.1 Implementation details
本研究采用共享且经过预先训练的模型参数IDN和RCAN，并对SRCNN和ENET采用从零开始进行训练的方法。
然后，按照算法1进行元学习：
4.2 MLSR with fixed bicubic SR kernel
首先假设退化核为bicubic，并且比较PSNR和SSIM。
观察发现，在 urban 数据集上的实验结果明显优于未采用 mlshr 方法的情况
在研究数据处理流程时发现这一系列表格所表达的含义令人费解，在引入IDN的过程中为何在IDN-ML部分会出现两个指标
本研究通过IDN-ML和IDN-Finetune的对比分析发现：采用IDN微调方法所需迭代次数约为15次……相当于仅需约5次……其中后者运行效率显著优于前者
