[图像复原]--AAAI2020-SCN:Scale-wise Convolution for Image Restoration
论文的出发点很奇怪,并不认同,等代码开源了再细看一下吧!

引言:

本文首先讨论了尺度不变性对于其他视觉任务中的提升作用,随机尺度数据增广,多尺度测试等措施对分类检测等任务有着明显提升,但是对于超分等低阶的视觉任务却会带来更差的表现(这个结论如何得出的,表示异议! )。因此提出了个问题:是不是图像复原不需要尺度不变性?
在本文中,作者证明了适当地将尺度不变性建模成卷积神经网络可以为图像复原任务带来显著的增益。具体为:从移位不变性的空间方向卷积中得到灵感,提出了“尺度方向卷积”,该卷积设计用于在多个尺度之间进行卷积以实现尺度不变性。在我们的尺度卷积网络(SCN)中,我们首先将输入图像映射到特征空间,然后通过双线性降尺度逐步构建特征金字塔表示。然后,将特征金字塔传递给带有尺度卷积的残差网络。为了在多个尺度上利用上下文信息,提出的按比例卷积学习动态激活和聚合每个剩余构建块中的不同输入尺度的特征 。
创新点:
1.Scale-wise Convolution
如图所示,在本节中我们引入了一种新的卷积操作——Scale-wise Convolution。该操作适用于对多尺度特征进行处理。具体而言,在输入数据中加入一个可学习的参数\theta后(此处我们选择\theta=0.5),能够有效地增强低频信息的表达能力并降低高频噪声的影响。此外,在计算过程中我们采用了一种基于梯度的方法来优化参数\theta以获得更好的性能表现。

其含义可以理解为:下一层特定尺度的输出结果是由上一层相邻多个尺度特征信息经过融合计算得到的。这种卷积操作在这一维度上执行滑动窗口处理,在同一层次中完成统一的操作以提取特征。此外,在讨论特征金字塔生成方法时,我们主要探讨了以下三种具体实现手段:(1)通过卷积操作与反向传播中的反卷积过程实现特征重建;(2)采用平均池化用于下采样,并借助最近邻插值方法完成上采样;(3)基于双线性插值方法实现多比例缩放效果。实验结果表明,在保证重建精度的前提下,双线性插值方法更具灵活性
2.SCN

如图所示的网络架构中包含Scale-wise Convolution和残差模块+全局跳跃连接(Global Skip)等技术组合。目前尚未深入研究其内部机制
实验结果:
1.标准数据集上效果:

2.消融实验:

