High-Fidelity Image Inpainting with GAN Inversion

The authors include Yongsheng Yu (Institute 1 and 2), Libo Zhang (Institutes 1, 2, and 3), Heng Fan (Institute 4), and Tiejian Luo (Institute 5). The research is conducted at the Institute of Software at the Chinese Academy of Sciences (CAS), with additional affiliations including the University affiliated with CAS, Nanjing Research Institute for Software Technology, and the College of Computer Science and Engineering at the University in Nmtx. Correspondence can be directed to Yongsheng19@mails.ucas.ac.cn; libo@iscas.ac.cn; heng.fan@unt.edu; tjluo@ucas.ac.cn

[2208.11850] High-quality image inpainting utilizing GAN-based inversion framework (arxiv.org)

摘要：

图像修复采用了基于语义一致性策略的方法，在未屏蔽内容的基础上可有效恢复受损图像。以往方法通常会在生成真实补剂之前直接使用预先训练好的 GAN 进行操作，并以此为基础实现 GAN 反演功能。然而由于这些算法对基本约束缺乏了解，在实际应用中可能会导致 GAN 反演与图像修复之间存在较大差距。为此，在本文中我们提出了一种新型用于图像修复的 GAN 反演模型 InvertFill ，其架构由预调制模块与带有 F&W+潜在空间的 GAN 生成器构成。在编码器部分，预调制网络借助多尺度结构将更具判别的语义编码转化为风格向量。为了弥合 GAN 反向 （参考论文：[Inverting the Generator of a GAN 生成器反向_反向生成器是由什么组成-博客]( "Inverting the Generator of a GAN 生成器反向_反向生成器是由什么组成-博客")）与图像修复之间的差距提出了F&W+潜在空间解决方案以消除颜色闪烁和语义不一致问题。为了重建高质量且逼真的图像设计了高效的软更新平均潜在模块以捕捉更多样化的域内模式这些模式有助于合成大型损坏中的高保真纹理效果。经过四个具有挑战性的数据集（包括 Places2、CelebA-HQ、MetFaces 和 Scenery）上的综合实验结果表明我们的 InvertFill 方法在定性和定量指标上均优于现有先进方法并且能够良好地完成域外图像填补任务

该研究中修复效果的表现包括三个方面：一是较大范围遮蔽区域的恢复能力；二是面部特征重建的质量；三是非自然场景中的面部特征重建效果。

模型整体框架图：

主要构成为：

1/编码器以及映射网络

2/stylegan2 包含F&W+潜在空间

以及损失函数：

3.2 更接近掩码边界的软更新

更接近掩码边界边缘的像素更容易被修复，在这种情况下模型却难以预测缺失的具体内容。我们发现编码器似乎掌握了一种方法来对纹理进行平均处理以重建处于非屏蔽区域的部分。这种方法在输出图像的某些区域会导致模糊或马赛克效果，并主要影响的是远离掩码边界的位置。受到L2正则化方法的启发，在这种策略下编码器的目标是更好地适应不同领域而非追求预设静态域的表现效果[18]。为了实现这一目标可行的方法是 限制样式代码w∗受预先训练生成对抗网络（GAN）的平均潜在代码生成 。这些平均潜在代码是从多样化的随机样本中提取的，并通过这种方式将编码器输出限制为平均样式从而降低了编码器输出分布的多样性程度。此外该方法引入了新的超参数以及固定不变的平均潜在代码需要在训练阶段加载这些参数才能生效。与之相比我们采用了动态更新策略即在训练过程中让平均潜在代码随机波动以增强模型的学习能力同时我们还引入了平滑波动方差这一概念以优化基于强化学习[18]收敛过程的效果。对于初始状态我们需要对目标平均潜在代码wt 和当前在线平均潜在代码wo 进行采样并初始化这两个变量值的关系为wo = wt 在实际应用中我们会选择让wo用于图像生成过程而不采用目标平均潜代码wt 由于为了避免更新过程中的滞后现象我们可以设置wo = wt 并在此基础上进行重新采样操作这样可以在两个连续更新周期之间实现平滑过渡以减少更新过程中的突变性影响最终当软更新参数τ趋近于零时该软更新机制会退化为传统的固定不变型[28]。

本文结论：

在本文中

本文包含丰富的对比实验数据。具体信息可参考原文 [2208.11850] High-Fidelity Image Inpainting with GAN Inversion (arxiv.org) 查阅