2022-ECCV-Explaining Deepfake Detection by Analysing Image Matching
一、研究背景
1.许多研究将深度伪造检测视为一种二分类任务，并取得了显著的效果。
2.理解模型如何在二分类标签的监督下学习伪造相关特征仍然面临巨大的挑战。
3.在视觉特征识别任务中核心的概念是具有语义的人脸区域,例如嘴角、鼻梁和眼部区域。
二、研究目标
1.验证假设性问题，并基于图像匹配的方法对视觉概念之间的关系进行评估, 从而对检测模型的预测结果进行解析。
2.探讨受监督学习框架中深度伪造检测模型如何提取并学习伪影特征。
3.优化构建更为高效的检测模型架构，在压缩视频数据中提升伪造样本的检出能力。
三、研究动机（3种假设）
- 检测模型将既非原图相关也非目标图相关的视觉概念视为与伪造相关的视觉概念。性能良好的检测模型应基于源/目标-无关的视觉概念来判断真伪。
- 在有标签数据的支持下，通过伪造-原图-目标图匹配的方式有助于去除伪造无关特征，并隐式地学习到真实的关联特征。
- 通过基于原始训练集的图片匹配学习获得的视觉概念更容易受到视频压缩的影响影响其准确性。
四、技术路线
假设1：
开发源编码器v_s和目标编码器v_t以实现对图片中视觉概念的区分。通过赋予伪造图片与相应源、目标图片相同的属性标签进行训练。对输入图像实施L \times L区域划分。其用于评估各区域对视觉概念贡献的重要性。例如：
对输入图像实施L\times L区域划分操作后得到集合G=\{g_{11},\dots,g_{LL}\}。
当\phi_{v_{d}}(g_{ij}\mid G)>0时，则证明区域g_{ij}与伪造图像相关。
- 评估视觉概念间的关系：
通过掩膜操作定位源/目标相关区域：
M_{\tau}=I(max(\phi_{v{s}},\phi_{v{s}}))>\tau
评估视觉概念间的交叉强度：第一项代表无关区域的相关性强度，第二项代表相关区域的相关性强度。
假设2为：分为两类训练数据集。第一类由仅由与伪造图像相关的原始图像/目标图像构成；第二类则由与伪造图像无关的真实图像构成
假设3：
评估稳定性：
对于压缩图片任务，在源与目标编码器之间学习到的视觉特征具有较高的稳定性。
FST-Matching Deepfake Detection Model：该模型主要通过从源/目标视觉概念中提取并去除无关特征来实现真假辨别能力，并在压缩视频检测方面取得了显著提升。
- 获得源特征f_s以及目标特征f_t
- 通过通道注意力机制实现对源/目标无关特征求取与源/目标相关特征求取的分离
\left\{ \begin{array}{c} f_{s}^{\text{ir}} \\ f_{t}^{\text{ir}} \end{array} \right.
与
\left\{ \begin{array}{c} f_{s}^{\text{r}} \\ f_{t}^{\text{r}} \end{array} \right.
- 配置 Fake-Source/Target 对验证模块以评估解纠缠效果。 该模块旨在确保源与目标图像的 f^{r} 属性标签与原始图像保持一致，并完成相应的属性预测任务。
加强f_s^{ir}与f_t^{ir}之间的互动性，并使h作为预测模块，在联合预测损失较小的同时，单个预测损失较大，并对0输入的影响较小。
- 总损失
五、实验结果
六、思考
- 消除混淆：将无关特征嵌入身份属性中，并将相关特征协同作用以区分真伪。
- 图匹配：在配对过程中排除相同属性的影响。
- 输入：上下支路均包含源节点、目标节点及对应的伪造图片。