2021-CVPR-图像修复论文导读《TransFill: Reference-guided Image Inpainting by Merging Multiple Color and ~~~》
该方法：基于参考的图像修复方案，通过融合多种颜色变换和空间变换
1. 论文背景
Image Inpainting即为图像修复技术，其核心目标是补全被遮挡或缺失的区域。相比之下，传统的Inpainting方法主要针对单幅图像（Single-Image Inpainting），即仅根据目标图像进行修复，主要依赖于图像的局部语义和纹理特征进行修复。然而，这种基于局部语义和纹理修复的方法往往难以达到理想的效果，经常会出现目标图像与修复后图像在语义或纹理特征上存在较大偏差，甚至可能出现修复后图像的纹理出现模糊现象。近年来，随着算法技术的不断进步，许多新型算法开始探索解决这一问题。然而，针对实际应用问题，本文提出了一种创新性解决方案，即引入了源图像的概念。具体而言，给定一幅图像，通常会有一副完整的对应图像，这可能来源于同一场景的不同角度拍摄（如摄影师在不同时间拍摄同一场景的不同角度），如图所示。
我们将其命名为source image。该研究主要聚焦于基于源图像引导的图像修复工作。经过对比实验，该方法在性能方面显著超越了现有的Single-Image Inpainting方法。接下来，让我们深入探讨作者团队的具体贡献是什么。
2. 论文导读
(1）模型框架（step）
Step1: Align the Source and Target Images with Multiple Homographies
Step2: Adjust the color and spatial Incosistency of the Proposals.
Step3: Merge Different Proposals in a Pixel-wise Manner.
(2) 详细步骤：
上面的第一步:
主要基于源图像对缺失图像进行初步补全。首先，基于深度图的单应性进行特征点的绘制，即通过单应性计算目标与源图像之间的特征匹配点，如图所示：
接下来是通过单目相机计算目标图像的空间深度，以及根据深度层级值对空间点进行聚类分析。通过特征点的聚类，每一类空间点对应一个特定的区域。其中，图中红色点迹代表图像中较远的像素，靠近窗户；而粉色点迹则表示较近的像素，靠近沙发所在的近景区域。
随后，他们Develop Multiple Homographies to Warp the Source Image for Alignment，通过这四个关键步骤，可以实现初步的图像修复，但效果仍显不够理想。以下图为例：
左图中某些区域的修复效果较好，而右图中另一些区域的修复效果较好。具体来说，Step1只能修复某一特定区域的理想状态。目前模型修复存在两大缺陷：
（1）每个提案只能修复深度相关区域，由于深度视差导致的限制。为了解决这一问题，我们提出Spatial Adjustment
（2）存在色调和亮度差异。为了解决这一问题，我们提出Color Adjustment.
上面第二步：
这篇论文提出了一种名为CST模块的颜色空间转换器，旨在解决step1无法解决的问题。鉴于仅仅依靠step1存在空洞难以精确对焦以及拍摄过程中的差异，这会导致颜色和曝光的差异，而CST模块能够有效地弥补这一缺陷。
上面第三步：
在经过空间和颜色的调整后，我们的结果需要进行融合。而融合模块主要包含两个子模块：
（1）Single-Proposal Fusion (SPF) Module：将每个提案独立地结合单幅图像填补结果。
Multi-Proposal Fusion (MPF) Module: Aggregate all aspects such as Single-Image Inpainting Results and Proposals.
经过前两步融合，我们便能够获得最终的ImageInpainting结果。其性能相较于最先进的算法更优。
3. 数据集
（1）RealEstate10K
（2) MIT-Adobe5K
4. 效果对比：
该研究对APAP、DFG、OPN三种先进算法模型进行了对比分析。基于PSNR、SSIM、LPISPS等指标的评估，研究证实了模型的先进性。
