Learning Texture Transformer Network for Image Super-resolution 论文解读

论文地址：https://arxiv.org/pdf/2006.04139.pdf
项目地址： https://github.com/FuzhiYang/TTSR

总述：为了恢复图像超分辨率结果的纹理信息，本文提出一种的TTSR的RefSR的方法。该TTSR包含四个关系紧密的模块：可学习的纹理提取模块，关联嵌入模块，用于纹理迁移的硬-注意力模块和用于纹理合成的软-注意力模块。此外，该方法可以通过跨尺度的堆叠方式，获得更好的实验结果。

介绍

现如今，图像超分的方法主要分为两类，一类是单图像超分(SISR)，比如SRCNN，VDSR,RCAN等；另外一类是基于参考图像的超分方法(RefSR)。因为高分辨率图像在退化过程中会丢失很多细节和纹理信息，所以传统的单图像超分方法会产生模糊的结果；为了恢复更多的纹理信息，有研究者使用GANs来实现图像超分(SRGAN,ESRGAN等)，但是GANs所带来的伪影artifacts却很难避免。
第二类方法通过Ref图像来实现图像超分取得了很好的结果，该方法通过从Ref 图像上迁移HR的纹理信息来获得视觉上可观的效果。本文的方法属于第二类，通过查询Ref 图像上合理 纹理信息，将其融入到最终的超分结果。不同于以往的该类方法，本文能够有效的避免错误的纹理迁移。

方法
如上图所示，本文提出了四个模块：可学习的纹理提取器模块(Learnable Texture Extractor), 相关性嵌入模块(Relevance Embedding)，硬注意力模块(Hard Attention)，软注意力模块(Soft Attention)。

可学习的纹理提取器模块：
对于纹理信息提取，目前主流方法是使用VGG网络来提取一些浅层的特征来作为纹理信息。但是，VGG网络的训练目标是以语义为导向的图像类别标签，其高层的语义信息与低层的纹理信息有很大的差异，所以这种方式有明显的缺陷。本文提出了一种可学习的纹理提取器，其本质是一个浅层的卷积神经网络 。随着训练的不断推进，该提取器不断更新自己的参数，最终可以提取到最适合超分的纹理信息，为后面的纹理迁移和纹理合成提供了很好的基础，最终生成高质量的超分结果。

相关性嵌入模块：
本文提出的纹理Transformer有Q，K，V三个要素，分别表示从低分辨率图像所提取的纹理特征信息(用来进行纹理检索)，高分辨率参考图像经过先下采样再上采样得到的与低分辨率图像分布一致的图像纹理信息(用来进行纹理检索)和原参考图像的纹理信息(用来进行纹理迁移)。将Q和K分别提取特征块，然后以内积的方式计算Q和K中的特征块两两之间的相关性 。内积越大表示这两个特征块之间的相关性越强，可迁移的高频纹理信息越多。反之，内积越小的地方代表这两个特征块之间的相关性越弱，可迁移的高频纹理信息就越少。该模块输出的是一个硬注意力图 H 和软注意力图 S。

硬注意力模块：
利用硬注意力图 H 中记录的位置，从V中迁移对应位置的特征块，组合成迁移纹理特征图 T，其中 T 的每个位置包含参考图像中最相似的位置的高频纹理特征。T接着与骨干网络中的特征 F 进行级联，通过一个卷积层得到融合后的特征。

软注意力模块：
将上述融合后的特征与软注意力图进行对应位置作点乘，此时相关性强的纹理信息能够赋予相对更大的权重；相关性弱的纹理信息因为权重小而得到抑制，这样能够更好的迁移高频纹理信息的特征。

跨尺度特征融合：

上图将本文所提出的纹理transformer应用于x1,x2,x4三个尺度，并将不同尺度间的特征通过上采样或者带步长的卷积进行交叉融合。这样，可将参考图像的信息运用到不同的尺度，进而提高网络的特征表达能力，提高图像生成的质量。

损失函数：

总损失函数：

其中，重建损失使用L1 损失，对抗损失使用WGAN-GP，感知损失由两部分组成，其公式如下：

第一部分是常见的感知损失的形式，第二部分选取本文中训练得到的纹理提取器作为超分结果的特征提取网络，与迁移的特征进行约束，这样能够更加有效地迁移参考图像的纹理信息。

实验结果
本文所提出的方法在CUFED5，Sun80，Urban100，Manga109数据集上进行了量化的比较，结果如下图所示：

下图为本文的方法与现有方法在不同数据集上的视觉比较效果，可以发现本文提出的方法优于其他方法：

消融实验
本文主要验证纹理Transformer，跨尺度特征融合，对抗损失和纹理迁移感知损失对实验结果的影响。

总结
受自然语言处理任务的启发，研究者将transformer技术用于图像生成任务。针对图像超分辨率的任务，微软亚洲研究院提出TTSR，取得显著的效果。