FakeInversion: Learning to Detect Images from UnseenText-to-Image Models by Inverting Stable Diffus
一、摘要
提出了一种新型的生成式AI图像检测方法,通过引入反演的噪声图和重建图像作为额外特征，检测器能够更好地泛化到未见过的文本到图像模型生成的图像上
随着新的高保真文本到图像模型以惊人的速度被开发出来，现有的图像空间检测器很快就会过时。在这项工作中，我们提出了一种新的合成图像检测器，它使用通过反转开源预训练稳定扩散模型获得的特征。我们的研究表明，这些反转特征使我们的检测器能够很好地泛化到未见过的高视觉保真度生成器（如 DALL-E 3），即使检测器仅在通过稳定扩散生成的较低保真度假图像上进行训练。该检测器在多种训练和评估设置中都达到了新的一流水平。我们还介绍了一种新的具有挑战性的评估协议，它使用反向图像搜索来减轻检测器评估中的风格和主题偏差。我们证明，由此得出的评估分数与检测器的实际性能非常吻合，并将这些数据集作为公共基准发布，供未来研究使用。随着新的高保真文本到图像模型以惊人的速度被开发出来，现有的图像空间检测器很快就会过时。在这项工作中，我们提出了一种新的合成图像检测器，它使用通过反转开源预训练稳定扩散模型获得的特征。我们的研究表明，这些反转特征使我们的检测器能够很好地泛化到未见过的高视觉保真度生成器（如 DALL-E 3），即使检测器仅在通过稳定扩散生成的较低保真度假图像上进行训练。该检测器在多种训练和评估设置中都达到了新的一流水平。我们还介绍了一种新的具有挑战性的评估协议，它使用反向图像搜索来减轻检测器评估中的风格和主题偏差。我们证明，由此得出的评估分数与检测器的实际性能非常吻合，并将这些数据集作为公共基准发布，供未来研究使用。
二、举例：
(左图）我们提出了一种新的合成图像检测器FakeInversion:它使用从固定的预训练稳定扩散（SD:Stable Diffusion）[45] 衍生出的两个额外输入信号：反转潜噪声图和重建的输入图像。(中图）我们的检测器是通过使用稳定扩散技术生成的假图像和真实的 LAION 图像进行训练的。它在检测未见的文本到图像生成器方面达到了最先进的泛化性能。(右图）为了确保性能评估不会偏向于偏重特定主题或风格的检测器，我们引入了一个新的主题和风格一致的评估基准--我们使用反向图像搜索（RIS）来衡量检测器从互联网上内容和风格匹配的真实图像中识别虚假图像（如《DALL-E 3》、《Imagen》）的能力。
三、method
1.真实图像的潜在噪声分布与生成图像的噪声分布存在差异，解码后的噪声图将这些差异可视化
1.真实图像：解码后的噪声图可能表现为自然噪声 2.生成图像：解码后的噪声图可能包含生成模型特有的伪影
首先输入一张图片，使用Blip为输入图像生成文本描述（如“一个小女孩打着伞”），其次将生成的文本描述通过CLIP模型转换为文本嵌入向量，然后，使用Stable Diffusion的预训练编码器（VAE Encoder）将输入图像映射到低维潜在空间，得到潜在表示z0.在潜在空间中，通过文本条件DDIM反转（公式1-2）将z0逆推至噪声图ẑ_T。这一过程利用扩散模型的逆过程，结合文本条件c逐步添加噪声。对噪声图ẑ_T进行文本条件DDIM采样（公式3），通过扩散模型的正向过程生成重建的潜在表示ẑ₀，并通过VAE解码器（VAE Decoder）将其解码为重建图像D(ẑ₀)同时，噪声图ẑ_T也被解码为可视化的噪声图D(ẑ_T)将原始图像x、解码后的噪声图D(ẑ_T)和重建图像D(ẑ₀)三者拼接（通道维度），输入到ResNet50分类器中，得出结果
2.公式原理：
一、使用文本条件 DDIM 反转和预先训练好的扩散模型获得潜在 DDIM 噪声图 zˆT
二、然后，我们使用文本条件 DDIM 采样获得重建的潜在图像 zˆ0
三、正向与反向映射，将干净图像z0转化为zˆT，并通过反向过程重建zˆ0
四、公式(5)是文本嵌入，公式(6)：噪声图与重建图像的生成,公式(7)检测器训练目标损失函数(二元交叉熵)，以用来区分真图像和假图像
四、实验部分
一、数据集： 训练集：1.ProGAN+LSUN：包含350k张来自ProGAN生成的假图像和LSUN真实图像。 2.Stable Diffusion+LAION：包含300k张来自Stable Diffusion v1生成的假图像和300k张LAION真实图像。 评估数据集： 1.使用API从Imagen、DALL·E 3、Midjourney等模型生成数千张假图像。 2.从Kandinsky、PixArt-α等高保真开源TTI模型生成数千张假图像。 3.如右图所示，通过反向图像搜索（Reverse Image Search, RIS）为每张假图像找到主题和风格相似的真实图像。 二、检测器架构：使用ResNet50作为骨干网络
三、评估指标：主要报告AUC-ROC，还提供了平均精度和准确率等指标
五、实验结果
1.RIS评估数据集
表2：对比了两种评估协议（RIS vs LAION）下的检测器性能，关键指标包括： 1.FPR@0.8 Recall：在召回率为80%时的假阳性率（False Positive Rate），FPR越高表示任务越难。 2.FID（Frechet Inception Distance）和KID（Kernel Inception Distance）：衡量真实与假图像分布的距离，值越低表示两者越相似。 结论：RIS评估协议更严格且更真实，因为它要求检测器区分高度相似的真实与假图像，而非依赖数据集间的风格差异。这减少了检测器对特定主题或风格的过拟合风险。表2：对比了两种评估协议（RIS vs LAION）下的检测器性能，关键指标包括： 1.FPR@0.8 Recall：在召回率为80%时的假阳性率（False Positive Rate），FPR越高表示任务越难。 2.FID（Frechet Inception Distance）和KID（Kernel Inception Distance）：衡量真实与假图像分布的距离，值越低表示两者越相似。 结论：RIS评估协议更严格且更真实，因为它要求检测器区分高度相似的真实与假图像，而非依赖数据集间的风格差异。这减少了检测器对特定主题或风格的过拟合风险。表2：对比了两种评估协议（RIS vs LAION）下的检测器性能，关键指标包括： 1.FPR@0.8 Recall：在召回率为80%时的假阳性率（False Positive Rate），FPR越高表示任务越难。 2.FID（Frechet Inception Distance）和KID（Kernel Inception Distance）：衡量真实与假图像分布的距离，值越低表示两者越相似。 结论：RIS评估协议更严格且更真实，因为它要求检测器区分高度相似的真实与假图像，而非依赖数据集间的风格差异。这减少了检测器对特定主题或风格的过拟合风险。
2.
表三：使用专有生成器（第一部分）和开源生成器（第二部分）以及先前工作中的学术（A）基准（最后一部分）对在 ProGAN+LSUN 和 SD+LAION 上训练的检测器进行了评估。∗注：该 DMDet 分类器是用来自 LDM 检查点而非稳定扩散的假数据训练的。我们对这些模型进行了重新训练 总结：它证明了FakeInversion方法在所有评估数据集上均取得了最优的AUC-ROC分数，显著优于基线方法。
3.表四：输入信号消融 - AUCROC。检测器在 ProGAN+LSUN 和 Stable Diffusion+LAION 上进行了训练，并在专有和开放生成器上进行了评估。使用原始图像、反转图和重建（Ours）比单独使用 RGB 或 DDIM 残差（如 DIRE [55]）性能更好。
4.表 5. 损坏图像的性能 - AUCROC。我们的方法对常见的图像劣化现象依然具有鲁棒性[20]。包括原始图像、添加噪声、模糊和JPEG压缩等变换
5.可解释性
图四：使用XRAI技术（一种后验解释性方法）对模型的决策依据进行可视化。XRAI通过区域归因（region attribution）突出显示图像中对分类结果影响最大的区域。这种分析验证了模型是否关注与生成图像中典型伪影（如解剖结构不一致）相关的区域。 根据我们的模型，绿色方框突出显示了最显著的区域，而紫色方框则显示了等效的纯 RGB 模型。我们使用了一种事后可解释性技术 XRAI [29]。在我们的模型中，赝品中解剖结构不一致的区域最为突出 FakeInversion模型更聚焦于生成图像中存在的解剖学不一致区域（例如畸形的手部结构），而RGB-only模型则可能分散关注其他次要特征
六、总结：在本文中，我们介绍了 FakeInversion：一种 GenAI 检测方法，它使用从预先训练的稳定扩散模型中提取的文本条件反转图，在检测通过未见文本到图像扩散模型生成的图像方面达到了新的一流水平。我们还提出了 SynRIS：一种新的具有挑战性的评估协议，它使用反向图像搜索来确保评估不偏向任何风格和主题。我们的研究表明，新协议在评估使用未知数据训练的专有模型生成的图像上的检测器时也更加可靠。 虽然 FakeInversion 在这一具有挑战性的基准上提高了先进水平，但显然仍有许多工作要做；新评估基准上的检测性能远未达到饱和。我们邀请未来的研究人员使用这些新数据集来探索、构建和大规模部署更好的 GenAI 检测器，并相信他们的解决方案不会偏袒任何内容和风格。