Advertisement

Contrastive Learning for DeepFake Classification and Localization via Multi-Label Ranking

阅读量：

一、研究背景
1.已经达到性能瓶颈阶段的二分类深度伪造检测技术，在当前研究中对操纵部位的定位及排序已成为新的研究方向，并且这种排序问题等同于多标签排序问题。
2.传统的二分类技术在推广至多标签排序任务时面临诸多挑战。

二、技术路线

在这里插入图片描述

通过结合多实例学习方法与排序机制，在同步完成深度伪造检测的同时实现伪造位置的精确定位及排序

构建损失函数以指导预测结果的排列顺序与真实情况保持一致

1.特征提取

  • 从图片x中获取token T；随后利用该token生成patch token U和可学习的类token V。
  • 经过transformer encoder \phi后，并利用自注意力机制进行特征关联。
在这里插入图片描述
  • 计算patch token之间的相似度并排序得到u，n=N(N-1)/2。
在这里插入图片描述
在这里插入图片描述

2.MIL deepfake classification

输入为假：期望u^+趋向于1，u^-趋向于0

输入为真：期望u^+、u^-均趋向于0

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

输入为真时，所有实例的响应趋于为1

在这里插入图片描述
在这里插入图片描述

3.Multi-label localization and ranking

在这里插入图片描述

4.Total loss

在这里插入图片描述

五、实验结果

在这里插入图片描述
在这里插入图片描述

全部评论 (0)

还没有任何评论哟~

相关文章推荐

Contrastive Learning for DeepFake Classification and Localization via Multi-Label Ranking

一、研究背景 1.二分类深度伪造检测已经趋于性能饱和，操纵部位定位及排序成为新的需求，而后者可被看作多标签排序问题。 2.以往二分类方法难以直接泛化到多标签排序问题上。 二、技术路线 利用多实例学习和...

Contrastive Learning-Enhanced Nearest Neighbor Mechanism for Multi-Label Text Classification

摘要 1. 在MLTC任务中在这篇文章以前大多使用的方法是关注到文本的表示，相关的特征提取任务的优化，或者是针对于标签上的注意机制；要么就是注意到相关标签的关联性；但是这些内容都没有注意到实例的相似性...

Metadata-Induced Contrastive Learning for Zero-Shot Multi-Label Text Classification, WWW2022

本文研究零样本情境下基于元数据的多标签文本分类，它不需要任何带标签的标注文档，只依赖于标签表面名称和描述。为了训练一个分类器来计算文档和标签之间的相似度分数，提出了一种新的元数据诱导对比学习MICoL...

Learning Disentangled Label Representations for Multi-label Classification

LearningDisentangledLabelRepresentationsforMultilabelClassification，2022 学习多标签分类的解纠缠标签表示 要点： 1、主流多标签...

Dual Contrastive Learning: Text Classification via Label-Aware Data Augmentation，arxiv2022

我是目录！ Introduction Preliminaries DualContrastiveLearning DualContrastiveLoss TheoreticalJustificatio...

Enhancing Label Correlation Feedback in Multi-Label Text Classification via Multi-Task Learning笔记

摘要 1.首先，这篇文章在一开始的时候提到，之前的一些考虑通过标签相关性的方法有分类器链的方法还有序列到序列的方法，但是这些方法可能会收到标签的顺序依赖问题、标签结合过拟合以及错误的传播问题； 2.为...

Fully Unsupervised Deepfake Video Detection via Enhanced Contrastive Learning

目录 背景 方法流程 阶段1：伪标签生成器的建立 阶段2：增强对比学习 阶段3：二值分类&鉴定 实验部分 消融实验 与先进的方法对比 方法的泛化性 来源：2024TPAMI（CCFA） 作者：Tong...

Unsupervised Person Re-identification via Multi-label Classification

论文：UnsupervisedPersonReidentificationviaMultilabelClassification<https://arxiv.org/pdf/2004.09228.pd...

Meta-LMTC--- Meta-Learning for Large-Scale Multi-Label Text Classification

1\.简介： 1.这篇文章是2021年发在EMNLP上的文章，通过摘要部分来看这篇文章主要解决的问题就是长尾问题，即有大量的标签没有训练实例manylabelshavefeworevennoannot...

Contrastive Pseudo Learning for Open-World DeepFake Attribution

一、研究背景 1.目前的伪造模型溯源工作都是基于GAN生成数据，基于身份交换和表情转换的研究相对较少。 2.现有方法假定训练集、测试集的标签空间相同，因此面对未知攻击时性能较差。 二、研究动机 隐藏在...