Accurate Image Super-Resolution Using Very Deep Convolutional Networks笔记

摘要：

（1）网络结构深：a significant improvement in accuracy

通过级联多层小的卷积核，上下文信息被高效利用

（2）深层网络存在的问题是收敛速度

采用学习残差和高的学习率

1.介绍

SRCNN相较于传统学习方法而言，在无需设计典型的特征的情况下也面临着三个主要问题；本文提出了一种改进方案。

（1）深层网络基于有限视野范围内的上下文数据（我的看法是因层次较低而覆盖范围较窄）

（2）训练收敛太慢 残差学习，且初始学习率为10的-4次方

（3）该网络仅适用于单一尺度的应用场景。当用户在图像查看器中进行连续缩放操作时，由于无法预先构建多个不同尺寸的模型版本，因此本网络的设计刻度由用户自行设定，并支持整数与浮点数值类型。

此图乍一看上去效果很好，高了0.87····

2.相关工作中主要是srcnn

srcnn三阶段：提取补丁/表示---非线性映射---重建 空间滤波器尺寸分别为9 1 5

何凯明探索增加了1-2层网络结构；结果未能取得预期效果因而放弃进一步的研究；总结发现较深的网络架构在性能上表现欠佳。

本篇文章采用非常深的网络，（4141 vs 1313）

高分辨率图像的信息由低分辨率的信息以及高低分辨率图像之间的残差信息构成

srcnn是直接采用一种名为SRCNN的方法将低分辨率图片放大至与高分辨率图像的尺寸一致，并非特指此处；同样地，在本篇文章中我们也将遵循这一策略；通过补零的方式实现目标效果从而确保图像尺寸不受影响

3.训练

残差训练：f(x)是网络预测，x是低分辨率图片，y是高分辨率图片,r=y-x

损失函数1/2||r-f(x)||2

训练采用基于反向传播的小批量梯度下降算法以优化回归目标为目标的方式进行。〔14〕我们将动量参数值设定为0.9。这一过程按照权重衰减（L2罚则乘以系数0.0001）进行规则化处理。

srcnn的学习率是10的-5次方。

一种广泛应用于递归神经网络模型的设计与优化过程中的常用方法[17]。然而，在实际应用中发现其局限性主要体现在仅限于在卷积神经网络（CNN）模型中的应用。尽管如此，在深度学习领域仍有许多研究者提出了多种限制梯度的方法。例如，在反向传播过程中对权重更新的速度进行控制以防止过冲或欠冲的问题，并将其优化效果通过实验验证得到了认可

控制梯度：

输入图片大小为视野大小（41*41）batchsize=64

4.结果

验证深度越深，性能有所增加

尽管残差学习在其他领域已经被提及过，在超分辨率领域中却由本文作者首位将其应用于

对比残差学习和非残差学习

单尺度和多尺度对比训练结果