Unifying Large Language Models and Knowledge Graphs: A Roadmap
本文仍属于LLM系列的文章，LLM与知识图谱的结合，基于《Unifying Large Language Models and Knowledge Graphs: A Roadmap》的翻译。
统一大语言模型与知识图谱：路线图
-
摘要部分
-
1 引言部分
-
2 背景分析
- 2.1 大型语言模型（LLMs）
- 2.1.1 编码器主导的LLMs
- 2.1.2 编码器-解码器结构的LLMs
- 2.1.3 仅解码器驱动的LLMs
- 2.1.1 编码器主导的LLMs
- 2.1 大型语言模型（LLMs）
-
2.2 提示工程模块
-
2.3 知识图谱模块（KGs）
-
- 2.3.1 通用知识库架构
-
- 2.3.2 日常知识模块
-
- 2.3.3 专业领域知识库
-
-
2.3.4 多源融合系统
- 2.4 应用
-
3 路线图与分类
-
-
3.1 路线图
-
- 3.1.1 KG增强的LLMs
- 3.1.2 LLM增强的KGs
- 3.1.3 协同LLMs+KGs
-
3.2 分类
-
-
4 KG增强的LLMs
-
4.1 KG增强LLM预训练
-
4.1.1 将知识图谱纳入LLM的训练目标
- 4.1.2 将知识图谱融入LLM的输入数据
- 4.1.3 通过新增的融合模块整合知识图谱
-
4.2 KG增强LLM推理
-
- 4.2.1 动态知识融合
- 4.2.2 检索增强知识融合
-
4.3 KG增强LLM的可解释性
-
- 4.3.1 KGs用于LLM探测
- 4.3.2 KGs用于LLM分析
-
-
5 LLM增强技术在知识图谱中的应用
-
-
5.1 LLM增强在知识图谱嵌入中的应用
-
- 5.1.1 LLMs作为文本编码器的工具
- 5.1.2 LLM在联合文本与知识图谱嵌入中的应用
-
5.2 LLM增强KG补全
-
- 5.2.1 LLM作为编码器（PaE）
- 5.2.2 LLM作为生成器（PaG）
- 5.2.3 PaE和PaG的比较
- 5.2.4 模型分析
-
5.3 LLM增强的KG构建
-
- 5.3.1 实体发现
- 5.3.2 核心指代消解（CR）
- 5.3.3 关系抽取（RE）
- 5.3.4 端到端的KG构建
- 5.3.5 从LLM中蒸馏知识图谱
-
-
-
5.4 通过LLM增强知识图谱与文本生成的关联
-
5.4.1 基于LLM提取的知识
- 5.4.2 构建大规模弱监督知识图谱与文本对齐的数据集
-
5.5 LLM增强KG问答
-
- 5.5.1 LLMs作为实体/关系抽取器
- 5.5.2 LLMs作为答案的推理者
-
6 协同LLMs+KG
-
- 6.1 知识表征
- 6.2 推理
-
-
7 未来方向
-
7.1 KG在LLM中实现幻觉识别
- 7.2 KG用于知识更新
- 7.3 KG在黑盒LLM中注入知识
- 7.4 多模态LLM在KG中的应用
- 7.5 LLM用于分析KG结构
- 7.6 协同LLM及其KG表示用于二元推理
-
8 结论
-
摘要
大型语言模型（LLM），如ChatGPT和GPT4，凭借其强大的生成能力和广泛的应用潜力，在自然语言处理和人工智能领域掀起新一轮的浪潮。然而，这些LLM本质上属于"黑匣子"模型，通常难以系统性地存储和检索事实知识。相比之下，知识图谱（KGs），如维基百科和华普，是系统性地存储和组织丰富事实知识的结构化知识模型。与LLM相比，KGs能够通过整合外部知识来提升LLM的推理能力和可解释性。然而，KGs在构建和进化机制上存在局限性，这使得它们难以有效支持LLM在生成新事实和表示未知知识方面的能力。因此，LLM与KGs的协同发展成为一种互补的关系。在本文中，我们提出了一种LLM与KGs协同发展的前瞻性路线图。该路线图由三个统一的框架组成：第一部分是"KG增强的LLM"，它通过在LLM的预训练和推理阶段融入知识图谱，以增强其对知识的理解和应用能力；第二部分是"LLM增强的KG"，它利用LLM来执行KG相关的多样化任务，如知识嵌入、补全、构建、图到文本生成以及问答系统；第三部分是"LLM与KGs协同"，在此框架下，LLM和KGs各自发挥专业优势，以相互促进的方式共同提升。在路线图中，我们回顾了现有研究并对各框架内的研究方向进行了深入探讨。
1 引言
2 背景
2.1 大语言模型（LLMs）
2.1.1 仅编码器LLMs
2.1.2 编码器-解码器LLMs
2.1.3 仅解码器LLMs
2.2 提示工程
2.3 知识图谱（KGs）
2.3.1 百科全书式知识图谱
2.3.2 常识知识图谱
2.3.3 领域特定知识图谱
2.3.4 多模态知识图谱
2.4 应用
3 路线图与分类
3.1 路线图
3.1.1 KG增强的LLMs
3.1.2 LLM增强的KGs
3.1.3 协同LLMs+KGs
3.2 分类
4 KG增强的LLMs
4.1 KG增强LLM预训练
4.1.1 将KG纳入训练目标
4.1.2 将KG纳入LLM输入
4.1.3 通过额外的融合模块集成KG
4.2 KG增强LLM推理
4.2.1 动态知识融合
4.2.2 检索增强知识融合
4.3 KG增强LLM的可解释性
4.3.1 KGs用于LLM探测
4.3.2 KGs用于LLM分析
5 LLM增强用于KGs
5.1 LLM增强KG嵌入
5.1.1 LLMs作为文本编码器
5.1.2 LLM用于联合文本和KG嵌入
5.2 LLM增强KG补全
5.2.1 LLM作为编码器（PaE）
5.2.2 LLM作为生成器（PaG）
5.2.3 PaE和PaG的比较
5.2.4 模型分析
5.3 LLM增强的KG构建
5.3.1 实体发现
5.3.2 核心指代消解（CR）
5.3.3 关系抽取（RE）
5.3.4 端到端的KG构建
5.3.5 从LLM中蒸馏知识图谱
5.4 LLM增强KG到文本的生成
5.4.1 利用来自LLM的知识
5.4.2 构造大型弱KG文本对齐语料库
5.5 LLM增强KG问答
5.5.1 LLMs作为实体/关系抽取器
5.5.2 LLMs作为答案的推理者
6 协同LLMs+KG
6.1 知识表征
6.2 推理
7 未来方向
在前期章节中，我们系统性地回顾了统一KGs和LLM的最新研究成果，尽管面临诸多挑战和尚未完全解决的问题，仍需进一步探索。在本节中，我们将深入探讨该研究领域的未来发展方向。
7.1 KG用于LLM中的幻觉检测
在LLMs中，幻觉问题会导致生成的内容事实上不正确，这严重削弱了LLMs的可靠性。如第4节所述，现有研究尝试通过预训练或增强推理能力的KG来提升LLMs的可靠性。尽管做出了这些努力，但幻觉问题在未来仍可能在LLM领域持续存在。因此，为了赢得公众的信任并实现边界应用，必须检测和评估LLM及其他形式的人工智能生成内容（AIGC）中的幻觉实例。现有的方法试图通过在少量文档上训练神经分类器来检测幻觉，但这些方法既不健壮也不强大，无法有效处理日益庞大的LLM生成内容。最近，研究人员尝试将KGs作为外部验证来源来检验LLM。进一步的研究将LLM与KGs结合，开发出一个通用的事实核查模型，该模型能够检测跨领域的幻觉[249]。
7.2 KG用于编辑LLM的知识
7.3 KG用于黑盒LLM知识注入
7.4 多模态LLM用于KG
7.5 LLM用来理解KG结构
7.6 用于二元推理的协同LLM和KGs
8 结论
将大型语言模型（LLM）与知识图谱（KGs）统一起来已成为一个研究热点，受到学术界和工业界的广泛关注。本文旨在系统性综述该领域的最新研究进展。我们首先探讨了整合知识图谱以提升大型语言模型的多种方法。接着，我们介绍了现有将大型语言模型应用于知识图谱的方法，并基于不同知识图谱任务建立了分类体系。最后，我们深入分析了该领域面临的挑战与未来发展方向。我们期望本文能为这一领域提供全面的概述，并为未来研究提供新的视角。