TPAMI-2024-Fully Unsupervised Deepfake Video Detection Via Enhanced Contrastive Learning
发布时间
阅读量：
阅读量
一、研究背景
1.现有的deepfake方法基于精确的标签监督而受限于标签数量或可能遭受的攻击。
2.当前无监督任务仍然要求部分数据进行标注：通过使用无标注数据进行模型预训练，并结合有标签数据对分类器进行微调（其中类别需进行标注）。
二、研究动机
- 在现有研究范围内，在现有研究中, 上端系统采用无监督的方式对特征提取器进行训练, 而下端系统则依赖真实标签进行监督学习, 这种不对等的学习机制存在明显的局限性。
- 真伪视频样本之间的深层高级特征具有高度相似性, 因此在进行视频分析时应当从语义层面提取特征信息, 而不应像传统的分类模型那样从理解层面进行特征提取。基于此特点，在无监督学习阶段采用基于手工伪影特征(VAF)的初步聚类方法更为合理。
- 传统的对比学习架构难以有效提升假视频检测性能。
三、研究目标
在无标签的情况下训练下游的分类器。
四、技术路线
1.PSEUDO-LABEL GENERATOR
- 分别从眼部和唇部提取手工特征。
- 对样本进行聚类后随机分配伪标签。由于缺乏任何先验知识支持，在这种情况下，伪标签只能作为区分两种簇的一种辅助手段，并不能明确地区分出哪一种是真实的。
2.ENHANCED CONTRASTIVE LEARNING
- 数据增强技术是一种有效的机器学习方法。
- Enhanced Contrastive Learner通过选择具有代表性的样本，在同一簇的数据之间促进相似性，在不同簇的数据之间抑制差异性。
3.BINARY CLASSIFICATION & AUTHENTICATION
- inter-frames correlation：真（小），假（大）
五、实验结果
全部评论 (0)
还没有任何评论哟~