2021-CVPR-图像修复论文导读《Image Inpainting Guided by Coherence Priors of Semantics and Textures》
1. 总导读：
以往Inpainting方法的发展可以分为基于语义的和基于纹理的两种类型，但若仅将二者分开研究，将导致逻辑上的矛盾以及边缘模糊的问题。例如，仅凭轮廓线是无法准确呈现动物皮毛质感的，也无法真实体现绿色调的。因此，这篇论文在尝试使纹理与语义具有一致性的基础上，提出了语义与纹理相结合的方法。通过重建损失、对抗性损失和相干性损失的综合运用，来提升图像的逼真度。同时，采用交叉熵损失来确保预测分割图的准确性。
2. 详细介绍：
本文创新性地开发了两种新型设计方法: （1）通过引入语义智能注意传播(SWAP)模块，明确地捕捉未知区域与已知区域间的语义关联性;通过语义映射至图像纹理，仅将未知区域填充为与之语义匹配的已知区域片段，而非整个图像区域，从而避免了纹理填充中可能出现的不相关背景内容。 （2）基于图像级结构相干损耗，指导图像与分割图间的结构匹配，生成清晰的图像边界;同时，采用非局部斑块级的一致性损失，分析斑块纹理在语义域中的分布特征，以促进生成的纹理与匹配的已知语义斑块保持一致。 Non-local Path Coherence Loss.：通过最大化纹理相似性实现优化。 **Structure Coherence Loss.**引入纹理条件判别器Dt，指导真实图像的预测分割图生成"伪"效果；同时，利用语义条件判别器Ds，分析真实图像的嵌入图像中"伪"特征的分布。
他们的贡献如下三点：
（1）他们提出了相干先验概念，强调了图像内画中语义和纹理之间的相互一致性，并构建了两个相关的损失函数，以提升语义信息和内画图像在全局结构和局部纹理层次上的统一性。
（2）他们开发了一种基于语义的注意传播模块，该模块通过捕捉空间关系并利用具有相同语义特性的纹理特征，成功生成了更逼真的纹理效果。
（3）在评估指标方面，包括边界清晰度、纹理一致性及视觉可信性，他们的方法基于多个语义区域实现了对复杂孔洞问题的更优解决方案，显著超越了现有最先进的图像修复技术。
基于注意力机制的方法通过上下文注意力机制选择已知区域作为参考来补全缺失区域，但该方法存在无法区分不同语义的patch，导致在注意传播过程中出现边界模糊和语义不一致的问题。与现有方法不同，SWAP方法通过匹配语义感知特征的缺失patch和基于一致性先验的已知patch来计算注意力得分。在每个语义区域中，每个patch的注意力得分是通过计算缺失区域与已知区域之间的patch亲和度，归一化内积后进行Softmax操作，然后通过两个损失函数来优化全局和局部的一致性关系。
最后，他们通过重建损失、对抗性损失和相干性损失来提高图像的逼真度。交叉熵损失被用来确保预测分割图的准确性。模型对比结果如下：在实验中，他们使用了多种损失函数来优化图像生成模型。重建损失项用于衡量生成图像与真实图像之间的相似性，而对抗性损失项则帮助模型生成更逼真的图像内容。为了确保分割图的准确性，交叉熵损失被引入模型训练过程。实验结果表明，该方法在图像生成和分割任务中表现优异。
