Residual Feature Aggregation Network for Image Super-resolution 论文解读

本论文提出了一种基于残差特征聚合的网络结构，用于解决单图像超分问题。该方法在保持较浅参数量的同时（如11M比RCAN的16M和SAN的15.7M更少），却在PSNR指标上表现更优。论文详细介绍了网络架构设计，包括基本框架、残差特征聚合框架和空间注意力增强模块，并通过大量实验验证了该方法的有效性。实验结果表明，RFANet在多个测试集上均超越现有方法，尤其是在高分辨率重建和细节恢复方面表现突出。论文还对模型复杂度进行了分析，表明RFANet在效果与复杂度之间找到了良好的平衡。此外，作者提到论文中存在一些小错误，并呼吁开源以促进进一步研究。

论文地址：https://urlify.cn/2AZfmi

本论文是南京大学发表在CVPR2020上的一篇工作。在单图像超分领域，研究者通过设计深度神经网络（如RCAN、SAN、RDN等）进行训练，取得了显著效果。本文则着重从网络结构设计的角度探讨图像超分问题。本文推荐这篇论文的原因在于，虽然其参数量（11M）显著低于RCAN（16M）、SAN（15.7M）等深度网络，但其PSNR指标却显著优于这些方法。

方法

1. 单图像超分的基本网络结构

单图像超分网络通常由三个主要模块构成：头模块通过单层卷积操作提取特征信息，中间模块则由多个基础模块串联而成，而重建模块主要依赖上采样模块来提升图像质量。在本研究中，我们采用L1损失函数作为优化目标。

为了充分挖掘残差分支的层次化特征，本研究开发了残差特征融合模块，如图所示。

对每个残差块生成的特征进行合并操作，并利用1×1尺寸的卷积层进行特征降维处理。

3. 空间注意力增强模块

为了解决轻量性问题，研究者采用1x1卷积以减少特征数量。随后，为了扩大感受野，研究者采用了步长为2的卷积并配合2x2的最大池化。然而，这种池化设置对感受野的扩展仍有限，因此研究者尝试了7x7大小、步长为3的滑动窗口。最后，研究者通过upsample层来匹配空间维度，并使用1x1卷积来匹配通道维度。其中，Conv Groups由3个连续的3x3卷积组成。

实验

实验参数设置

2. 与残差块，密集块相结合

EDSR-Baseline采用了120个残差单元；RFA-EDSR采用了30个RFA模块，其残差单元数量与EDSR-Baseline和RFA-EDSR相当。在RFA-EDSR结构中，每四个残差单元后紧跟一个1x1的卷积层。从表中可以看出，PSNR提升幅度为0.1dB。Dense-Baseline采用了42个密集块，其参数量与EDSR-Baseline和RFA-EDSR一致。RFA-Dense采用了14个RFA模块，PSNR提升幅度接近0.1dB。

3. 与注意力模块相结合

在Bicubic Degradation (BI)实验中，本研究将RFANet与当前主流的12种单图像超分算法进行对比分析。经对比实验，RFANet在超分性能上表现相对突出。在两个具有挑战性的数据集Urban100和Manga109上，RFANet在x3和x4超分倍数任务中均显著优于现有方法。实验结果表明，数据集的结构信息含量丰富是RFANet取得优异表现的重要原因之一，这也充分说明了残差分层特征在超分任务中的关键作用。图5的实验结果进一步验证了RFANet在细节恢复方面的卓越性能。

在Blur-downscale Degradation (BD)实验中，本研究选取了10种超分方法与RFANet进行对比分析。通过表格3的数据对比，RFANet在5个测试集上的定量分析结果显示，其在性能上均优于现有方法。进一步分析表明，RFANet在该领域的应用效果显著。

第6节 残差特征聚合模块(RFA)的影响

7. 空间注意力增强模块(ESA)的影响

8. 模型复杂度比较
图9显示，RFANet的参数量显著低于RCAN、SAN和RDN，同时其性能指标更为优异，这进一步凸显了RFANet的优势。与DBPN相比，RFANet的参数量仅微弱增加，这表明该模型在性能与复杂度之间实现了良好的平衡。

结论

本论文提出了一种基于残差特征的聚合网络用于图像超分，该网络在深度学习领域表现优异，成为目前图像超分领域的最佳解决方案。此外，论文中也发现了几个无需引起广泛关注的小问题。尽管文章内容较为简洁，但期待作者能够尽快公开相关代码，以便更深入地了解ESA模块的具体实现。