论文阅读：Detecting, Explaining, and Mitigating Memorization in Diffusion Models

一、论文信息

论文名称： Identifying, Analyzing, and Alleviating Memory in Diffusion Models

作者团队：

会议： Accepted by ICLR 2024 (Oral)

论文链接：https://openreview.net/pdf?id=84n3UwkH7b

二、扩散模型的记忆现象

三、研究背景

Training Data Extraction：

研究者Carlini等发现了这样的现象：扩散模型能够基于训练集中见过的不同prompt输出大量高度相似的图像样本。尽管这些初始种子各不相同，在这种情况下它们都能被用来生成高度相似的结果。针对这一现象,研究者们设计并执行了图像密度检测实验。实验结果表明,在训练数据中具有较高重复度的图像更容易被扩散模型识别并记住。

Diffusion Memorization Mitigation：

Daras 等人探讨了通过对训练集数据进行一定程度的调整的方法来有效缓解扩散模型对训练数据过拟合问题；

Somepalli等研究者探讨了针对文本prompt的具体措施，并提出了采用以下策略：通过加入随机噪声和替换特定词语的方式以防止扩散模型产生"记忆"效果。

四、本文动机

对于常规的prompt，在扩散模型中生成的图像会受到随机初始种子不同取值的影响而表现出差异性。

对于扩散模型可能"存储"的特定prompt，在不管初始种子如何的情况下，它们生成的图像都呈现出高度一致性。这表明该模型可能会导致图像与初始输入存在显著偏差。

五、检测模型

对于一个 classifier-free guidance的文生图扩散模型，其核心公式为：

模型是否存在记忆的判断标准定义为：

d值越小，则表明当使用prompt时生成的图像与初始设定值之间的接近程度更高；这表明该图像来自记忆的可能性较低。

反之, 当prompt存在时模型生成的图像与初始值的偏差越大, 从而推断该图像更可能来源于记忆.

实验验证：

基于Webster等人先前的研究，在Stable Diffusion v1模型成功记忆的基础之上

研究表明，在本文提出的方法中，只需经过一步降噪处理，并生成一张图像样本进行判断即可实现较高的分类准确率水平。

六、缓解模型记忆现象的方法

判断prompt中哪个word或token与图像记忆更相关：

研究人员探讨了prompt中的哪些字符在模型记忆特定图像时具有更高的重要性。其重要性取决于这些字符在整个训练集中与相似图像同时出现的频率。这并不意味着促进模型记忆的关键因素仅限于名词或动词。

训练过程的缓解记忆方法：

在训练过程中, 筛选出并剔除那些被判定为超出模型记忆能力的图文对.

推断过程的缓解记忆方法：

当进行推理生成时，在给定一个初始输入prompt的基础上，通过梯度优化目标函数获得难以激活模型记忆的关键提示；这些关键提示将被用作条件输入用于生成图像