（cvpr2020）Learning texture transformer network for image super-resolution论文阅读
Learning texture transformer network for image super-resolution
该模型能够良好地从参考图像中提取纹理特征，并且能够最大限度地提取并利用这些特征来实现其目标；同时，在超分辨率重建过程中将其应用以生成更高质量的图像。
摘要
引言
图像超分主要分为两大类：一类是单图像超分辨率重建技术（SISR），另一类是基于参考图的图像超分方法（RefSR）。传统意义上的SISR方法往往会导致失真现象出现的原因在于高分辨率纹理在降质过程中被不可避免地损坏。然而尽管基于深度生成模型的方法虽然有效缓解了这一问题但这些生成模型也可能带来虚假效果和伪影现象。
以参考图像为基础的图像超分技术通过从参考图像迁移纹理特征实现了较好的效果。相比之下，在现有技术中广泛采用并行处理的方式直接传输纹理信息这一做法可能会导致无法令人满意的输出效果
为了有效解决这一问题
此外
相关工作
SISR
该研究采用基于深度学习的方法将所关注的任务视为一种密集型图像回归问题，并着重地研究了LR与HR间的函数关系。
30
39
18
2
13
13
22
13
13
基于参考的图像超分
不同于SISR算法，RefSR方法能够从参考图像中提取更为精确的细节信息。主要依赖于图像对齐和块匹配技术。现有的许多RefSR方法倾向于通过对齐低分辨率LR图像和参考图象来实现细节增强的目标。然而这些方案往往耗时较长，在实际应用中并不十分高效。
其他的RefSR方法采取块匹配的方法去搜索合适的参考信息。
方法
在这一部分中被引入了TTSR技术，在此基础上开发出了跨尺度特征集成模块以提升模型性能能力
在这一部分中被引入了TTSR技术，在此基础上开发出了跨尺度特征集成模块以提升模型性能能力
Texture Transformer
这里的Q,K,V 来自于信息检索系统，在该系统中Q被定义为查询对象,K被定义为键变量,V则被定义为值域变量.经过纹理提取模块的处理,K和Q分别对应着从参考图像先进行下采样后再进行上采样的纹理特征,以及单独进行低分辨率上采样的纹理特征.这些特征各自用于其特定的目的.V则代表着参考图像的原始纹理特征,主要应用于 texture transfer的任务.随后,K与Q通过相关性嵌入模块建立起了两者之间的最高度相关的关联关系.其中,H被用作 hard attention map,S则被用作 soft attention map.H对应于位置坐标,S则对应于具体的相关性强度大小.
Learnable Texture Extractor
在RefSR框架中，特别重视参考图像的纹理提取这一环节。本文未采用传统的预训练分类模型所提取的语义特征，而是创新性地设计了一种可学习的纹理提取器。这种设计能够在低分辨率和参考图像之间进行有效的联合特征学习，并且能够有效地捕获更加准确的纹理特征。
其中Q、K、V是transformer内部所采用的注意力机制的三个核心要素，并且会被相关性嵌入模块再次用于处理
Relevance Embedding
关联度嵌入系统的目标在于通过评估Q与K之间的关联度，并利用该结果来进行LR与Ref之间的关联分析。
Hard-Attention
作者设计了一种硬注意力机制来转移HR纹理特征V。传统的注意力机制在每次qi时会采用对V进行加权求和的方式。然而这种处理方式可能导致信息丢失-由于忽略了HR区域独特的纹理特征这一关键因素的存在。对此作者提出了改进措施仅将注意力权重分配至与V最相关的区域以实现更为精准的信息提取
具体说，先计算硬注意力图
Soft-Attention
开发了软注意力模块并设计了T和F两个模块，在构建过程中应重点增强那些具有显著特征的纹理信息，并避免对无特征的纹理进行过度处理。
为了实现这个，软注意力图S应该被计算表示T中每个位置的置信度。
Cross-Scale Feature Integration
跨尺度特征集成（CSFI），每次应用在上采样之后。
损失函数
参考文献：
TTSR采用了Transformer架构以达成端到端的超分辨率目标，在CVPR2020的腾讯云开发者社区中进行了详细讨论
（TTSR）开发基于Transformer的纹理变换网络以实现图像超分辨率重建_马鹏森的博客-博客