deepfake detection论文阅读笔记(一)：Transcending Forgery Specificity with Latent Space Augmentation

Transcending Forgery Specificity with Latent Space Augmentation论文阅读笔记

---

一、论文针对的问题及解决思路

deepfake检测面临泛化性问题，检测器只能检测特定伪造的伪影，对此过拟合，对不同的伪影不适用，跨数据集的场景表现不好。因此就有这么一个idea：具有更多种伪造的表示应该能够学习更一般化的决策边界，以减少特定方法的过拟合。
提出了通过在潜在空间中构造和模拟伪造特征内部和之间的变化来扩大伪造空间。增大伪造空间通过样本插值。

二、method

1.总体架构

基于蒸馏的学习架构，包含教师和学生模块。教师模块涉及：1.指定一个专门的教师编码器来对每种伪造类型学习特定域的特征。2.应用域间和跨域增强来增强伪造类型。3.应用一个融合层来结合增强的特征。学生模块则包含一个单独的带有一个全连接层的学生编码器，这个编码器受益于教师模块的学习特征。

2.训练过程

step1：使用不同的教师编码器分别真实的和伪造的特征，在这一步，隐藏增强模块是 用来增强伪造类型。
step2：真实的和伪造的教师编码器联合训练带有二元分类器的学生编码器通过 distillation loss。
学生编码器去检测deepfake通过binary loss使用从教师获得的特征。所有的学生编码器和教师编码器都是以一种端到端的方式联合训练。

3.隐藏空间增强

假定有一个包含m类伪造图片和对应真实类型图片的训练集。首先采样一个batch的人脸身份并且收集它们的图片从每类的数据集中。将不同类型的图片输入到对应的教师编码器，然后在特征上执行提出的隐藏空间增强，有三个不同的域内变换（离心变换、加性变换和放射变换）和一个域间变换来增强。

3.1域内增强

1）centrifugal transformation，challenging examples 指远离域中心的样本，通过插值challenging examples来增大每个伪造域的空间。因此转换样
本为challenging examples来使它们远离域中心。计算特征（域）中心。

有两种方式使之远离中心：

2）仿射变换。改变逐元素的位置信息以生成邻居样本。

3）加性变换，增加扰动

3.2跨域增强

来自不同伪造域的样本特征的线性组合。学习更加鲁棒的决策边界并且跨不同的伪造捕捉的一般的特征分享

4.融合层

应用一个卷积层来讲增强的结果连接在一起与学生编码器的输出形状对齐。

5.目标函数

5.1域损失

用来使教师编码器学习特定域的特征。教师编码器将一批图片从x1 压缩为s1 在隐藏空间，然后应用多分类器来估计置信度得分，域损失由多类别分类器损失给定，被表示为交叉熵损失：

5.2二元分类损失

用来使学生编码器检测图片的真假，使用二元交叉熵损失。

5.3 distillation损失

这个损失提升推理模型的泛化能力通过转移增强知识给学生：使学生的特征和增强的隐藏表示特征对齐，使用一个距离测量函数

目的是调整学生模型的特征图来近似综合伪造表示。

5.4总的损失

总结

通过蒸馏学习的这种方式来使学生模型学习到来自不同伪造类型的特征，并通过增强增强技术来拓展伪造的边界包括跨域的和域内的，提升了模型的泛化性。整个训练流程如下：1.输入图像，m+1类的batch。2.特征提取，不同教师编码器负责学习不同伪造类型的特征。3.对教师编码器提取的特征进行域内增强或跨域增强。4.融合层，将跨域增强和域内增强的结果通过一个可学习的卷积层合并，以对齐增强特征和学生编码器的输出。5.特征融合，将原始伪造特征表示和增强特征表示合并，得到最终的增强特征表示。6.知识蒸馏，使用蒸馏损失将教师编码器的知识传递给学生编码器。7.在学生编码器上添加二元分类器，以识别真假图像。