A Survey of Backdoor Attacks and Defenses on Large Language Models
本文属于LLM系列文章中的一篇，并基于《A Survey of Backdoor Attacks and Defenses on Large Language Models: Implications for Security Measures》进行了转译。
大型语言模型的后门攻击和防御调查：对安全措施的影响
- 摘要：概述研究的主要内容和目标。
- 引言：介绍研究背景及其重要性。
- 2 大型语言模型后门攻击的技术背景及其发展现状。
- 3 大型语言模型中的后门攻击机制与实现方法。
- 4 后门攻击在实际应用中的表现与影响。
- 5 关于防御机制探讨的初步分析。
- 6 讨论与面临的开放挑战。
- 7 研究总结与展望。
摘要
大型语言模型 (LLM) 减少了人类语言理解与复杂问题解决之间的差距，在多项自然语言处理 (NLP) 任务中表现出最先进的性能。尽管 LLM 的能力显而易见，但受限于计算资源的限制，用户不得不依赖开源语言模型或将其训练流程外包给第三方平台。研究表明，语言模型容易受到潜在安全漏洞的影响，在后门攻击中尤为明显。后门攻击的目标是通过污染训练数据或模型权重来引入目标漏洞以操控模型响应。尽管现有的后门攻击综述提供了全面概述但现有研究对专门针对LLM的后门攻击缺乏深入探讨。为了弥补这一缺口并掌握该领域最新动态本文特别关注微调方法提出了LLM后门攻击的新颖视角具体而言我们将其系统地划分为全参数微调方法、参数高效微调方法以及无微调攻击三类基于大量评论我们进一步探讨了未来研究的关键问题例如无需依赖微调的新型攻击算法开发更为隐蔽的新型攻击算法等
1 引言
2 大型语言模型后门攻击的背景
3 大型语言模型的后门攻击
4 后门攻击的应用
5 关于防御后门攻击的简要讨论
6 讨论和开放挑战
7 结论
在本文中, 我们对基于微调技术的各种后门攻击方法进行了全面梳理. 研究发现, 当大型语言模型的参数规模持续扩大时, 传统全参数微调的传统后门攻击算法面临着显著局限性. 这些算法在耗能方面存在明显不足, 而采用参数高效微调策略能够有效缓解这一问题. 相较之下, 非传统方法通过降低对计算资源的需求, 大大提升了攻击效率. 此外, 无需依赖模型参数更新的技术则为实现更加便捷灵活的后门攻击提供了可能. 在这一过程中, 我们还深入探讨了当前研究面临的关键挑战: 包括探索更为隐蔽且适应生成任务的技术路径; 设计出更具通用性的触发机制; 以及推动无需参数更新技术发展的相关工作.