ANAH: Analytical Annotation of Hallucinations in Large Language Models
本文是LLM系列文章，针对《ANAH: Analytical Annotation of Hallucinations in Large Language Models》的翻译。
ANAH：大型语言模型中幻觉的分析注释
- 摘要
- 1 引言
- 2 数据集构造
- 3 幻觉注释器
- 4 实验
- 5 相关工作
- 6 结论和未来工作
- 7 局限性
摘要
减少大型语言模型 （LLM） 的“幻觉”问题对于其广泛应用至关重要。对幻觉进行全面而精细的测量是治理这个问题的第一步，但在社区中尚未得到充分探索。因此，我们提出了 ANAH，这是一个双语数据集，可在生成问答中提供 LLM 中幻觉的分析注释。我们数据集中的每个答案句子都经过严格的注释，涉及参考片段的检索、幻觉类型的判断以及幻觉内容的校正。ANAH 由 ∼4.3k LLM 响应的 ∼12k 句子级注释组成，涵盖 700 多个主题，由人机回环管道构建。由于幻觉注释的精细粒度，我们可以定量地确认 LLM 的幻觉在答案中逐渐积累，并使用 ANAH 来训练和评估幻觉注释者。我们对研究生成式和判别性注释者进行了广泛的实验，结果表明，尽管目前的开源 LLM 在细粒度幻觉注释方面存在困难，但用 ANAH 训练的生成式注释器可以超越所有开源 LLM 和 GPT3.5，获得与 GPT4 竞争的性能，并在看不见的问题上表现出更好的泛化能力。
1 引言
2 数据集构造
3 幻觉注释器
4 实验
5 相关工作
6 结论和未来工作
生成任务中的幻觉对 LLM 的可靠性和可信度构成了重大障碍，但缺乏全面和精细的检测策略。因此，我们提供了一个双语数据集 ANAH，用于 GQA 中的细粒度幻觉注释，涵盖不同的主题，为定量分析累积效应等幻觉现象提供了机会，并促进了最先进的细粒度幻觉注释器的发展。我们的生成幻觉注释器超越了所有开源 LLM 和 GPT-3.5，并获得了与 GPT-4 相当的性能。我们的泛化实验表明，提高数据集中主题的广度比在数据集中现有主题下扩展问题更重要。
本文为进一步扩大 ANAH 的数据集铺平了道路，以便与训练有素的幻觉注释者一起对 LLM 幻觉进行系统评估和分析。幻觉注释器也有可能在训练和推理阶段用于幻觉缓解管道。