PRIVACY ISSUES IN LARGE LANGUAGE MODELS: A SURVEY
本文属于LLM系列文章，深入探讨了《PRIVACY ISSUES IN LARGE LANGUAGE MODELS: A SURVEY》这一主题的翻译工作。
大型语言模型中的隐私问题：综述
- 摘要
- 1.驱动力
- 2.通用术语表
- 3.记忆机制
- 4.隐私攻击型大语言模型
- 5.隐私保护型大语言模型
- 6.版权问题
- 7.模型遗忘问题
- 8.总结部分
摘要
这项研究首次对人工智能研究领域的活跃领域进行了系统性调查，特别关注大型语言模型（LLM）中的隐私问题。具体而言，我们主要关注红队建模的工作，以聚焦隐私风险，试图将隐私整合到训练或推理过程中，使训练后的模型能够有效地删除数据，从而符合现有的隐私法规要求，并尝试缓解版权问题。我们的研究重点在于总结开发相关算法、证明相关定理以及进行实证评估的技术性研究。尽管从多个角度应对这些挑战的法律和政策工作已经取得了一定成果，但这些工作并非我们调查的重点。然而，这些工作以及近期的法律发展为这些技术问题的形式化提供了重要信息，因此我们在第1节中简要讨论了这些问题。我们正在维护一个公开可用的存储库，其中包含本调查中涵盖的论文列表以及公开的任何相关代码.
1 动机
2 通用术语
3 记忆
4 隐私攻击语言模型
5 隐私保护大语言模型
6 版权
7 机器遗忘
8 结论
在本文中，我们涉及到了与大型语言模型相关的隐私风险问题。随着这些模型逐渐向公众和各类应用场景广泛传播，人们对其隐私风险的担忧也将随之增加。这种担忧在美、欧等主要国家即将出台的人工智能法规中得到了集中体现。然而，LLM隐私领域的基本问题仍然存在较大挑战。我们已知LLM能够存储大量训练数据（第3节），但与专门针对歧视性深度学习模型的攻击相比，第4节中介绍的现有攻击方法仍有明显不足。深入理解LLM潜在的隐私风险，是防止个人数据无意泄露的关键。另一方面，政策制定者和AI开发者不宜对在实践中可能难以实现的理论风险过度反应。差分隐私等隐私保护训练技术看似是有效保护隐私且能在微调过程中保持性能的方法，但其在不同领域的适用性和操作简化仍需进一步研究。保护LLM在微调过程中的隐私问题，本质上仍是一个未完全解决的挑战。随着生成模型版权法在未来几年内对生成模型的法律适用逐渐明确，一系列技术难题将随之而来。在其他相关问题中：给定一个特定的模型输出，我们如何验证其是否合理使用了训练数据子集？如果我们想通过版税公平地补偿训练数据创造者，又该如何进行归因？现有的数据删除方法多为启发式，我们如何验证其效果？基于梯度下降的方法需要对模型参数进行白盒更新，这在计算成本上越来越高昂和受限，而基于上下文学习的技术可能难以扩展到大规模数据删除。未来的研究需要重点验证这些遗忘方法在隐私视角下的有效性，并探索其在实际模型和删除场景中的扩展可行性。