论文阅读笔记(二) Fine-Grained Open-Set Deepfake Detection via Unsupervised Domain Adaptation
目录
-
- 关键术语
-
- 具体实现流程
-
- 各功能模块
- 3.1 源域监督学习机制
- 3.2 基于网络记忆的自适应聚类方法
- 3.3 目标域伪标签生成机制
- 3.4 模型微调过程
-
4.局限性和讨论
1.重要概念
1. 细粒度开集式 deepfake 检测通过多分类机制将未标注的目标领域数据划分为多个已知类别与多个未知类别。
2. DeepfakeNet 通过系统性构建包含 15 种不同 deepfake 方法的数据集（dataset），为细粒度分类提供了有力支撑。
3. 基于无监督学习的方法，在训练阶段利用带有标注信息的源领域数据（source domain data with labeled annotations），以期使模型在面对未标注的目标领域测试（target domain testing）时仍能保持良好的性能表现。
4. 网络记忆效应描述了网络如何倾向于优先学习容易分类的对象（easier-to-classify objects），继而逐步掌握难以分类的对象（harder-to-classify objects），直至对所有样本实现充分的学习与拟合。
2.算法流程
将图像划分为源域与目标域两个领域后，
1）首先建立一个分类模型M，并使用特征提取器E从源域数据中学习表征；
2）随后利用该特征提取器从目标域中提取图像特征；
3）接着对提取的特征数据进行聚类分析，并据此完成图像分类任务；
4）最后将目标域的部分分类标签与源域对应的类别进行对齐处理；
5）通过整合两者的数据信息并结合已有的标注信息重新训练模型参数以提升性能。
3.具体模块
3.1 源域有监督学习
基于原始数据集中的不同仿生类别及其对应的标签信息，在主架构中采用Convnext网络构建主干结构，并采用MLP模型进行多标签分类任务；同时设计编码器以提取与伪造分类相关的特征，并通过交叉熵损失函数进行优化训练n次。
3.2 Network Memorization Based Adaptive Clustering
此模块用于生成目标领域数据集上的伪标签。通过有监督学习方法提取特征器作用于目标域图像，并运用K-means聚类技术开发了一种评估框架用于确定最佳聚类数量及其对应的分类结果。基于记忆机制的基础，在神经网络模型中计算损失值与预测精度作为优化指标，并利用这些指标评估了各候选簇划分方案的质量特性。若分类效果理想，则其对应的类别划分与人工标注高度一致。通过将EN架构设计为输入源域图像并输出人工标注的伪标签形式，在这一过程中实现了对易样本的有效拟合过程。实验结果表明，在不同聚类数目下，在保持较低计算开销的前提下实现了较高的泛化性能表现
选取转折点作为聚类数量即为最优；相较于传统自适应k-means聚类而言该算法更为高效；其中算法伪代码的具体实现步骤如下所示：
3.3 目标域伪标签生成
在目标领域中可能存在与源领域相同的某些分类标记，并需建立对应关系以便后续的数据处理流程。具体步骤如下：首先从源和目标领域的每个类别中各提取p张图像样本，并获取其对应的特征向量；接着计算这两组特征向量之间的相似度度量指标；若计算得到的距离值低于设定阈值，则将该类别归入到对应的源领域标签中；最后定义的距离评估标准如下：
3.4模型重训练
4.局限性和讨论
基于网络记忆的自适应聚类方法（NMAC）表现出较高的聚类精度，并有助于后续自适应过程的发展；然而，在实际应用中同样面临着较高的计算时间挑战，在未来研究中值得进一步优化改进。为了提升特征提取效率，在现有研究基础上采用知识蒸馏和模型压缩技术来降低特征提取复杂度。