MindMap: Knowledge Graph Prompting Sparks Graph of Thoughts in Large Language Models
本文介绍了一种基于知识图谱（KG）的提示方法（MindMap），旨在提升大型语言模型（LLM）的能力。该方法通过赋予LLM理解KG输入的能力，并结合其隐式知识和外部检索结果进行推理。此外，研究还探讨了启发思维导图的应用，使LLM能够在思维导图上进行推理并生成答案。实验表明，MindMap提示显著提升了LLM的表现，在三个问答数据集上取得了优于普通LLM和检索增强生成方法的效果。该研究为实现可靠且透明的LLM推理提供了新思路，并已开源代码以供重现和扩展。
本文属于LLM系列文章，在《MindMap: Knowledge Graph Prompting Sparks Graph of Thoughts in Large Language Models》的基础上开展相关研究与翻译工作。
思维导图：大型语言模型中的知识图谱提示火花思维图
- 摘要
- 1 引言
- 2 相关工作
- 3 方法
- 4 实验
- 5 结论
摘要
LLM通常在吸收新知识的能力、幻觉的产生以及决策过程的透明度方面表现出局限性。在本文中，我们探讨了如何用知识图谱（KG）提示LLM，作为一种补救措施，让LLM了解最新知识，并从LLM中引出推理途径。具体来说，我们构建了一个提示管道，赋予LLM理解KG输入的能力，并使用组合的内隐知识和检索到的外部知识进行推断。此外，我们还研究了启发思维导图，LLM在思维导图上进行推理并生成答案。研究表明，生成的思维导图展示了基于知识本体的LLM推理路径，从而为在生产中探究和衡量LLM推理带来了前景。在三个问答数据集上的实验也表明，MindMap提示带来了显著的经验增益。例如，使用MindMap提示GPT-3.5会持续产生超过GPT-4的压倒性性能。我们还证明，通过从KG中检索结构化事实，MindMap可以优于一系列使用文档检索方法的提示，受益于KG中更准确、简洁和全面的知识。为了重现我们的结果并进一步扩展框架，我们在https://github.com/wylwilling/MindMap上开源了代码。
1 引言
2 相关工作
3 方法
4 实验
5 结论
本文引入了基于知识图谱（KG）的提示机制1），该机制使大语言模型（LLM）能够理解和处理输入数据中的知识结构；2）通过整合隐式领域知识与外部资源检索结果的方法提升其推理能力。接着，在启发思维导图这一工具的应用场景下设计的大语言模型不仅能够进行逻辑推理，并且能够以图表形式展示生成的答案。经过对三个典型问答数据集的系统性实验分析，在性能指标方面我们的MindMap方法显著优于传统的大语言模型以及强化检索增强生成的方法。这一创新性研究为我们未来构建可靠的、透明的大语言模型及其应用提供了重要参考依据，并为实际生产环境中的智能系统开发奠定了理论基础。