（cvpr 2020）Residual Feature Aggregation Network for Image Super-Resolution 阅读笔记

论文地址：Residual feature aggregation network for image super-resolution

摘要：作者这里首先介绍了残差学习的有效性，但是忽略了分层特征。为此作者提出了新的框架，简单通过跳跃连接组织几个残差块去提取更有用信息。为了提升模型的能力，作者提出了增强的空间注意力机制。通过ESA和RFA两个简单的模块搭建模型。

上图介绍了作者提出的RFA框架，可以看出作者是在原始的残差模块的基础上添加了几条跳跃连接。

这部分作者介绍了残差网络的局限性，不能充分利用中间的信息，只是为了解决训练困难的难题。

这里继续接受了RFA框架。传统的网络设计是一系列残差网络的堆叠，这样的设计，前面模块的特征经过很长的路径才可以进入后面的层，·经过多个卷积形成复杂的特征，对网络的性能是十分不友好的。基于此，作者在此基础上重新组织了残差模块

作者在这一部分认为，残差特征是不够的，必须通过空间注意力机制去增强残差特征的空间分布。作者通过分析文献【10，19，3】中注意力机制的缺陷，提出了新的增强注意力模块。ESA模块后面会介绍。（主要包括分步卷积核最大池化，1*1卷积）

作者的主要贡献。提出残差特征融合。提出了增强空间注意力模块。

作者在这一部分主要综述了以前的网络结构。

作者综述其他领域的注意力机制的应用，然后主要介绍了RCAN和SAN。RCAN通过引入通道注意力机制到修改过的残差块中。通道注意力通过全局平均池化提取通道的统计信息，这被称为一阶注意力。SAN是二阶注意力机制。

具体的实现

作者通过几篇论文发现基础的网络结构都差不多。 上图可以看到网络包含三个部分，浅层的特征提取，深层的特征提取，重建部分。

损失函数选择L1损失函数。

作者在这一部分主要介绍了RFA模块的基本信息。这里有几点不懂。首先作者说传统的残差模型通过堆叠残差块来提取信息，作者认为这种方式提取的信息是局部的，不明白这是为什么，我们不是说网络越深感受野就越大吗，这里说的局部是什么意思？然后作者又说自己设计的网络模型是非局部的，这里不是利用了分层特征吗？难道说分层特征就是局部的吗？

作者介绍了ESA模块的作用和构成。应用ESA模块是为了增强RFA模块的特征，使模型更加关注感兴趣的区域。具体构成看原文。在这个模块的设计的时候作者考虑了两点：轻量级和大的感受野。

作者在这一部分介绍了和RDN的差异和MemNet的差别。

训练集的选取，数据增强，图像块的大小，退化模型，优化器的设置

【40】Yulun Zhang, Yapeng Tian, Yu Kong, Bineng Zhong, and Yun Fu. Residual dense network for image super-resolution. In CVPR, pages 2472–2481. IEEE Computer Society, 2018

【38】Yulun Zhang, Kunpeng Li, Kai Li, Lichen Wang, Bineng Zhong, and Yun Fu. Image super-resolution using very deep residual channel attention networks. In ECCV (7), volume 11211 of Lecture Notes in Computer Science, pages 294– 310. Springer, 2018

【3】Tao Dai, Jianrui Cai, Yongbing Zhang, Shu-Tao Xia, and Lei Zhang. Second-order attention network for single image super-resolution. In CVPR, pages 11065–11074. Computer Vision Foundation / IEEE, 2019