DeeperForensics-1.0: A Large-Scale Dataset for Real-World Face Forgery Detection
文章目录
- DeeperForensics-1.0: A Large-Scale Dataset for Real-World Face Forgery Detection
-
- 背景
- 创新
- 贡献
- 数据
- 方法
- 实验
- 未来工作
An Extensive-scale Database for Real-world Forged Face Detection
会议：CVPR 2020
作者：
GitHub官方存储库：https://github.com/EndlessSora/DeeperForensics-1.0
个人项目页面：https://liming-jiang.com/projects DrF1 DrF1.html
背景
创新
该系统在模拟真实应用场景中引入了新的大规模数据集DeepForecast-1.0。该数据集由来自不同环境和条件的6万个视频样本构成，并包含高达1.76亿帧图像数据。为了全面评估现有技术的表现边界，在这一基础上构建了一个统一的测试框架。
为了构建这一目标数据集，在制定相关技术方案时我们着重考虑并制定了三项核心标准
局限：不受约束的拍摄环境，照面、目标面部的遮挡和极端的头部姿势等
因模型未能正确处理外观变化或时间差异而导致荒谬和不协调的结果
针对上述挑战,采取两种策略:其一是在获得参与者知情同意的前提下,筛选并获取100名不同背景的新面孔样本库;其二是开发了一种创新的DeepFake变分自编码器（DFVAE）模型,旨在提升视频生成质量。
使用本数据集对五种代表性的开源伪造检测方法进行基准测试。
贡献
我们开发出了一个名为DeeperForensics-1.0的新数据集，在规模、质量和多样性方面均超越了现有的相关数据集，并且其专业性和准确性显著提升；此外，覆盖范围和应用场景更加广泛。
为增强数据的真实可靠性起见, 我们采用了一种科学严谨的数据采集方案, 并开发出了一种创新的方法论体系——DF-VAE——以显著降低现有操纵视频在仿真中的明显伪造痕迹.
在我们的数据集中系统性地评估了现有代表性的伪造检测方法，并对其在人脸伪造检测领域的现状及未来发展趋势进行了深入分析与总结。
数据
明确一套涵盖成套高保真真人脸变换视频的核心标准：这些标准需具备普遍适用性和扩展性；该方案需解决由于外貌变化导致面部风格不匹配的问题；生成视频的时间线必须保持连贯
构建深度伪造变分自动编码器DF-VAE。DF-VAE的主要组成部分包括特征提取模块、特征去纠缠模块以及特征融合与重构模块。
方法
重建的人脸dt与yt具有相同的结构，并保持x’的外观。
在该换脸场景中,MAdaIN通过样式的表面区域进行自适应计算,得到仿射参数.
大规模的人脸互换技术能够确保在原始领域和目标领域均包含多种身份信息时的人脸交换质量保持稳定。
基于时间一致性要求，在解耦合模块中实现了对源面部和目标面部的时间信息同步获取。
最小化x~f与xf之间的差异，并通过增强时间一致性来维持面部细节生成的稳定性。
得益于其优异的扩展性和多模态特性
构建了一个包含1万经专业处理视频的新体系框架DeeperForensics-1.0。在该体系中, 1,000个来自现有数据集的经专业处理视频与5万件高质量特意拍摄并整理的源视频共同构成了这一版本的核心内容。
实验
The dataset groups include UADFV technology (reference 41), DeepFake technology applied to TIMIT dataset (23), CelebDF technology (26), FaceForensics++ technology (33), Deep Fake Detection technology (9), and DFDC technology (14).
在第3.3节中，我们采用了1,000份未经预处理的视频样本（来自face取证++[33]）以及对应的YouTube视频库作为基准数据集进行研究。
我们主张设计一种能够更贴近真实环境需求的测试集以避免训练集与测试集之间过于紧密的分布关系
探索真实世界扭曲怎样影响模型性能
未来工作
持续补充数据集以实现更大规模的数据积累。
通过促进其他视频伪造技术的发展来完善隐藏测试集。
在人脸伪造检测领域探索更为科学的量化标准同样具有重要研究价值。
注：本文仅供学习交流，不应用于其他，转载请标注。