Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling
本文属于LLM系列文章，是对《ChatGPT is not Enough: Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling》的翻译。
ChatGPT当前阶段仍有局限性：通过知识图谱进行辅助构建，提升大型语言模型的能力，使其具备事实感知的语言建模能力。
-
摘要
-
1 引言
-
2 PLM的历史
-
3 KGPLMs
-
4 KGPLMs的应用
-
- E 问答
-
5 LLM能否取代KGs？
-
6 用KG增强LLM
-
7 结论
摘要
近年来，具有代表性的大型语言模型（LLM）ChatGPT因其实现了强大的涌现式学习能力而受到广泛关注。一些研究者认为，LLM可能取代现有的知识图谱等结构化知识库，并作为参数化知识库发挥重要作用。然而，尽管LLM在基于大型语料库的概率语言模式学习方面具有深厚功底，并能与人类进行自然对话，但在生成需要依赖事实的内容时，其表现仍显不足。基于这些局限性，研究者们提出了一种创新性解决方案，即通过将明确的事实知识注入到数据驱动的预训练语言模型（PLM）中，从而提升其生成基于知识的文本的能力，并为用户提供更精准的响应。本文系统综述了知识图谱增强预训练语言模型（KGPLM）的相关研究，详细阐述了现有技术及其实际应用。在现有研究的启发下，本文进一步提出了一种新的研究方向，即开发知识图谱增强的大型语言模型（KGLLM）。该模型旨在通过增强知识图谱对LLM的支持，提升LLM在事实推理方面的能力，并为LLM研究开辟新的探索路径。
1 引言
2 PLM的历史
3 KGPLMs
4 KGPLMs的应用
E 问答
问答系统旨在为给定的问题选择正确的答案，并必须具备获取相关知识并进行推理的能力。尽管在许多问答任务上，基于预训练语言模型（PLM）的方法表现出色，但经验表明，它们在结构化推理方面存在不足。相比之下，知识图谱（KGs）更适合于结构化推理，并且具有进行可解释性预测的能力。因此，一些研究提出将PLM与KGs相结合，以实现结构化推理和可解释的预测目标。具体而言，一些方法在训练PLM的同时，将来自KGs的知识融入到PLM中，如图注意力生成网络（QAGNN）和知识增强语言模型（WKLM）。另一项研究则聚焦于在答案推理过程中利用KGs来增强PLM的能力。例如，OreoLM通过将一个交互层整合到PLM中，与可微知识图谱推理模块协同工作，从而提升了推理效果。值得注意的是，在答案生成过程中，KGs不仅为PLM提供了知识支持，还通过检索和整合知识来增强模型的推理能力。在常用问答数据集如TriviaQA、searchQA和Web Questions上进行的实验表明，整合知识图谱后的KGPLM在性能上显著优于传统PLM。
5 LLM能否取代KGs？
6 用KG增强LLM
7 结论
随着ChatGPT的巨大成功，LLM的快速发展也得到了显著的推动。尽管LLM在自然语言处理（NLP）任务中展现了卓越的能力，但其在知识表示和检索方面仍存在一定的局限性。基于这些观察，本文旨在系统性地探讨知识表示与检索在大语言模型（LLM）时代的价值与应用。研究首先回顾了生成式预训练语言模型（PLM）的发展历程，分析了将知识图谱（KGs）融入PLM的初衷。随后，本文将现有的KGPLM（知识表示与检索在PLM中的应用）进行了分类，并对各类方法进行了详细阐述。此外，本文还对KGPLM的实践应用进行了深入探讨。通过回顾现有研究，本文进一步探讨了PLM与最近的LLM在知识表示能力上的对比与替代可能性。最后，本文提出了若干建议，以期通过整合知识图谱（KGs）来增强LLM的事实感知能力，从而提升其在知识表示与检索方面的性能。本文主要解决了以下三个关键问题：（1）在LLM时代，知识图谱的价值体现在哪里？（2）如何将KGs有效整合到LLM中以提升其性能？（3）为推动KGLLM（知识图谱与LLM结合）的未来发展，我们应采取哪些具体措施？通过这项研究，我们期望为LLM与KGs领域的未来发展提供有价值的参考和方向。