Contrastive Pseudo Learning for Open-World DeepFake Attribution

一、研究背景

1. 目前伪造模型溯源研究主要依赖于GAN技术生成数据，在身份互换与表情变换等领域的研究相对较少。
2. 当前多数方法假设训练集与测试集的标签空间具有高度一致性，在应对未知攻击方面存在明显不足。

二、研究动机
被无标签未知数据掩盖的伪造线索尚未得到充分挖掘。
不同的伪造手段所关注的区域各有侧重，在局部分析中细节的比较更加关键。
次高的预测结果仍然具有较高的可能性为正确类别，在此情况下单纯以最高置信度作为标签容易导致严重噪声。

三、研究目标
在开放世界场景中，并通过无标签样本提升可识别和不可识别的仿真的样本的溯源能力。
如果是仿制品样本，则根据其生成机制来进行分类（无论生成机制是否已知）。

四、技术路线
提出Contrastive Pseudo Learning(CPL)框架

1.引入全局-局部投票模块引导特征对齐

选择与锚点样本最为接近的一组样本作为参考依据，并基于全局性特征提取方法计算L_{GR}损失值；通过上述方法处理后可使同类样本与锚点样本之间的分类表现得到提升。

对各个局部区域patch进行响应值计算，并将其视为加权系数参与相似性评估过程；随后分别基于局部和全局相似度评估与锚定点样本最为接近的对象；当这两个对象的分类判定结果一致时，则需计算对比损失；通过投票机制整合这两个对象的判定结果以缩小两者的分类差异

• 对于标注数据而言，在同一类别中进行随机采样以评估其间的对比损失。
• 在未标记的数据情况下，则基于全局与局部相似度评估并选择最优的单一样本。

构建基于置信度的软伪标签机制，并通过预测结果计算权重来减少类似伪造手段带来的干扰。综合考虑所有预测类别，并通过L_{csp}损失函数使得某单一类别概率最大化的同时，其余各类别概率均被最小化。

3.其他损失

• 有标签数据：有监督分类损失

• 所有数据：KL散度约束，防止将所有样本分到一类

• 总损失

4.使用多阶段范式，加入预训练和迭代学习。

• 阶段1：基于已有标注数据开展预训练阶段(11)
• 阶段2：通过融合有监督和无监督的学习方法完成对比学习任务，并以提升新型攻击的检测与建模能力为目标(13)
• 阶段3：采用k均值聚类算法生成伪标签，并将其作为补充信息参与监督式学习过程（迭代学习）(11)

五、实验结果
Protocol-1：实现了对伪造数据的还原过程。
Protocol-2：同时完成了真实数据与伪造数据的分类任务，并实现了对伪造数据的还原过程。

评估指标：
分类精度（ACC）定义为正确分类的样本数量与所有正样本数量之比。
无监督聚类性能（NMI、ARI）则通过衡量簇之间的重合程度来评估算法效果。