【Face x-ray】Face X-ray for More General Face Forgery Detection
该文章提出了一种基于面部x射线的通用面部伪造检测方法，无需依赖特定的面部操作技术。通过定义面部x射线，该方法利用混合边界来检测伪造图像。面部x射线定义为图像B，其中输入为真实图像时，B的像素全为0；输入为伪造图像时，B显示混合边界。检测过程通过卷积神经网络分类图像为真实或混合，并从真实图像中自动合成大量训练样本以增强模型泛化能力。文章提出了两种增强策略：掩码变形和色彩校正。该方法在FF++、DFD、DFDC和Celeb-DF等数据集上表现优异，能够有效检测未见伪造图像。然而，该方法依赖混合步骤的存在，且可能在低分辨率图像中性能下降。
文章目录
- 基于X射线的通用面部伪造检测方法
- 创新点
- 技术定义
- 检测流程
- 实验验证
- 方法局限
- 研究结论
- 方法创新
- 技术定义
- 检测流程
- 实验验证
- 方法局限
- 研究结论
- 方法创新
- 技术定义
- 检测流程
- 实验验证
- 方法局限
- 研究结论
- 创新点
Face X-ray for More General Face Forgery Detection
会议：CVPR 2020
作者：
创新
该方法基于face x-ray技术，假设混合步骤的存在，但不受与特定面部操作技术相关的工件知识的限制。
通过输入人脸图像的人脸X射线获取到一幅灰度图像，该图像表征了输入图像是否能被分解为两幅不同来源的图像的混合。
通过显示伪造图像的 混合边界和真实图像的不混合来实现的
将改面的人脸融入现有背景图像中，在融合过程中，固有图像差异边界的存在。这些差异使得边界从本质上可被探测到。
仅由真实图像合成的混合图像训练
常见的面部处理方法主要分为三个步骤:首先，鉴别面部区域的位置;其次，生成目标面部的图像;最后，将目标面部图像融入原始画面;
许多方法都致力于第二阶段合成伪影的特定操作捕捉，而我们则专注于第三阶段的混合边界定位。
定义
给定输入的面部图像I，我们希望确定该图像是否是通过将两个图像IF和IB进行组合生成操纵图像IM，⊙表示逐元素乘法。
如果输入图像I具有所需面部属性的前景处理过的人脸，而IB则用于提供背景图像。M则用于标识被操纵区域，每个像素的灰度值范围在0.0至1.0之间。将面部的x射线定义为图像B，这样当输入为处理过的人脸图像时，B将显示混合边界；而当输入为实数图像时，B的所有像素值将为零。对于输入图像I，将其面部的x射线定义为图像B。
其中，(i, j)表示像素位置的索引，M是根据输入图像i生成的掩码。
若输入图像为实数，则掩码M将表现为典型的全0像素或全1像素的背景图像。反之，当输入图像为非实数时，掩码M则将发挥区分前景区域的关键作用。
所有真实的图像必然对应有面部x射线，均为0像素。仅限于关键的x-ray相关数据足以指导网络学习。
在x-ray生成过程中，通常分为三个关键阶段：首先，选定一个真实图像IB，并用另一个真实图像IF替代被操纵的IB变体。这里，使用基于欧氏距离的最近邻搜索方法，从剩余训练视频的随机子集中提取，选取前100个最接近的样本，随机选择其中一个作为目标掩码IF。其次，确定需要被覆盖的区域。初始掩码定义为IB中面部地标的凸包部分，为了使蒙版形状尽可能多样化，我们首先通过从源16点（4×4网格采样）到目标16点（基于随机偏移的源区域仿射变换）估计的二维分段仿射变换进行随机形状变形，随后应用随机核尺寸的高斯模糊滤波器，最终得到优化的蒙版。最后，基于式（1）计算混合图像，通过式（2）应用混合边界。
检测
生成训练数据集D={I,B,c}，其中I代表图像，B代表对应的face x-ray，c是一个二进制标量用于标识图像I是真实图像还是混合图像。通过卷积神经网络NNb对图像I进行处理得到B^，其输出为face x-ray的特征表示。通过全局平均池化层、全连接层和softmax激活层组成的网络NNc预测得到c^，其输出为概率形式。通过交叉熵损失函数进行优化，实现face x-ray的处理。
N为特征图B^的总像素数
对于分类
实验
FF++用作训练
测试：FF++、DFD、DFDC、Celeb-DF
batchsize=32
iterations=200000
lr=0.0002
optimizer=adam
通过采用更为普遍的证据手段来应对伪造检测问题，我们采用了面部X光技术。在提升泛化能力方面，我们采取了以下两个主要措施：首先，我们建议采用面部X射线检测而非关注操作相关的假影；其次，通过从真实图像中自动合成大量训练样本，模型的适应性得到了显著提升，尤其是在X射线面部图像处理方面。
BI迫使分类器学习面部x射线，从而更好地泛化
深入探讨了两个关键的增强策略：其一是掩膜变形技术，其二是色彩校正技术，后者能够有效生成更真实、更具表现力的混合图像。
局限性
面部X射线检测可能在两个方面失败：首先，该方法的实现基础是混合步骤的完整性。其次，对抗性样本的开发将有效对抗我们的检测系统。
在低分辨率图像的情况下，我们的方法可能会出现性能下降。这是因为对低分辨率图像进行分类具有较高的难度。
结论
在现有技术中，所有的人脸处理方法均包含一个统一的融合过程，同时，在融合边界处存在固有的图像特征差异。
该系统成功研发出一种基于面部X射线的更具普适性的面部伪造检测系统，该系统能够在不依赖现有面部处理技术生成假图像的情况下实现有效的训练。
该框架能够准确识别未见的伪造图像，并可靠地预测混合区域。
note：
注：本文仅供学习交流，不应用于其他，转载请标注。