Artificial Fingerprinting for Generative Models: Rooting Deepfake Attribution in Training Data（主动防御）

一、论文信息

Synthetic fingerprint analysis of generative AI systems: Determining deepfake accountability through training data characteristics

会议：ICCV2021

作者团队：

二、创新与贡献

现有Deepfake检测技术在准确率方面表现优异。然而，在生成技术和对抗检测技术不断进步的情况下，则多为被动式的深度检测方案。本文提出了一种主动式的人工指纹辅助检测方法，并将其融入生成模型框架中，则可实现目标识别人工指纹并追踪其来源。本文的主要贡献体现在以下几个方面：

作为协同手段，将图像隐写与GANs的结合用于实现深伪鉴别和归因分析，并首次提出一种具有主动性和可持续性的深伪鉴别方法。

本文研究表明，在生成模型中的人工指纹不仅能够从训练数据中提取出来，并且经过深度伪造过程后转化为全部生成的deepfakes。仅限于那些依靠深度学习算法实现的人工指纹识别技术才有可能成功地转移至生成模型；而传统的隐写与水印技术则无法实现这一过程。

本文提出的方法具备以下几项显著优势：1·广泛适用性，在多种前沿生成模型中均可应用；2·真实性保障，在生成图像的质量方面没有负面影响；3·抗干扰能力，在面临多种干扰时依然稳定运行；4·隐私保护，在人造指纹方面几乎不可察觉。

三、方法

Pipeline

首先训练一个图像隐写编码器与解码器；

使用编码器将人工指纹嵌入到训练数据中；

用原始协议训练一个生成模型；

从生成的Deepfake中解码指纹。

本文采用了基于深度学习的隐写技术，在训练数据集中成功融入人工指纹特征，并对其在生成模型中的迁移性进行了系统考察。具体而言，在设计阶段我们将关键信息编入生成器参数部分，并确保所有生成图像均紧密关联于该核心信息内容；这种设计使得指纹特征得以以隐藏的方式融入模型参数设置中。

隐写训练

源身份由人工指纹w表示；通过隐写技术将任意一指紋w嵌入至任意圖像编码體系E(X,w)生成增強後的圖像X_w；將編碼器E與解碼器D結合於增強後的圖像X_w中，并能提取出原始指紋數據。此編碼-解碼過程采用了卷積神經網路架构；其訓練采用了卷積神經網路架构並基於二值交叉熵損失（Binary Cross-Entropy Loss）與均方误差損失（Mean Squared Error Loss）進行優化 training.

人工指纹嵌入

在当前阶段的内容如下：通过已建立的E和D网络模型，在当前阶段对每个训练数据集唯一地分配一个指纹标记w，并且利用E模型对每张图片x进行特征提取以生成相应的带有该指纹标记的训练数据集Xw。

生成模型训练

使用加入指纹的数据集代替原始数据集训练生成模型。

人工指纹解码

在训练数据的基础上，在生成模型中实现了指纹信息的映射关系后，则每一个生成图像都将包含该特定的特征信息w；通过解码器技术能够提取并识别这些特征信息w。

人工指纹匹配

在模型训练过程中，在解码环节对指纹w^与生成器输出的指纹w之间的匹配程度进行评估。研究设定零假设H₀：随机测试成功的次数（即匹配位的数量）。根据这一假说，在零假设成立的情况下（即所有测试条件下的结果均为随机），每位指纹在解码过程中的正确识别概率遵循二项式分布规律；其中试验次数n等于指纹的总位数；而k则表示在所有测试中被正确识别的成功次数（每位成功识别的概率p=0.5）。研究者通过计算相应的概率值来确定观察到的成功次数k及其以上的发生概率P；在此基础上，在零假设条件下出现至少k次成功匹配的概率即为我们所求的P值。

假設零假設為真，则進行指紋匹配程序（w^{\sim}w），其結果的概率P值顯著低於預期水準。当选算得到的P值小於等於0.05時，则可將1-P作為驗證信心水準的指標。

四、实验

数据集

无条件生成过程：各为1.5\times 1e^{4}; 5\times 1e^{3}; 和6.4\times 6.4分辨率的数据集；其中CelebA数据集的分辨率为128\times 128像素；而LSUN Bedroom和LSUN Cat数据集分别具有128\times 128和256\times 256的高分辨率特征图。

类条件生成：CIFAR-10 32x32分辨率。

图像条件生成：Horse-Zebra、Cat-dog 256x256分辨率。

可转移性

并非仅在训练数据中嵌入指纹这一做法不再适用。相反，在本研究中我们采用了集成生成过程与模型训练步骤的方式进行改进。具体而言，在干净的数据集上进行模型参数优化，并确保生成图像不仅具有与真实数据相似的特点, 还能够携带特定指紋信息以实现高定位标准的要求。“Orig FID”值对应于无指印的原始模型性能, 其余几行则展示了基于不同指紋识别策略的表现情况。”

保真性

a、b之间的差异放大十倍以后观察

鲁棒性

该系统具有良好的鲁棒性，在指纹图像受到大量干扰的情况下依然能够正常运行（逐位精确度达到至少75%）

保密性

在指纹识别系统的保密性测试中，在每一行数据中计算并记录了基于二进制分类的准确率（即正确判断出是否存在特征标记的概率）。当该准确率值较小时，则表明系统具备较高的安全性优势。

检测性能