KG-GPT: A General Framework for Reasoning on Knowledge Graphs Using Large Language Models
论文笔记：《KG-GPT：一个基于大语言模型的知识图推理通用框架》
论文地址：https://arxiv.org/abs/2310.11220
代码地址：KG-GPT(github.com)
目录
摘要
1 介绍
1.1 研究背景--存在的问题
1.2 创新点--本文工作
2 方法
2.1 Sentence Segmentation（句子分割）
2.2 Graph Retrieval（子图检索）
2.3 Inference（推理）
3 实验
4 总结
5 局限性
摘要
尽管大型语言模型 (LLM) 在理解和生成非结构化文本方面取得了显著的进步[1]，但在其在结构化数据处理方面的应用仍存在明显局限性[2]。特别是在处理基于知识图谱（KG）的复杂推理任务方面存在明显的局限性[3]。针对这一挑战，在本研究中我们提出了一种名为KG-GPT的新框架[4]。该框架作为一个综合性的解决方案框架，在三个关键阶段中实现了对基于知识图谱的任务支持：具体而言，在这三个关键阶段中：首先是对输入文本进行分段；接着是从知识图谱中提取相关信息；最后是通过逻辑推理得出结论[5]。为了全面评估该模型的性能表现如何？通过构建基于知识图谱的事实验证系统以及相关的问答基准测试来全面评估该模型的性能[6,7]。实验结果表明该方法较现有的完全监督学习方法表现出更高的泛化能力以及更为稳健的表现特征[8]。值得注意的是，在所有测试案例中观察到的结果均符合预期目标值±5%范围内波动[9]的情况出现频率较高[10]。这一研究工作标志着人工智能领域在统一处理结构化与非结构化数据方面迈出了具有里程碑意义的重要一步[11]。
1 介绍
1.1 研究背景--存在的问题
LLM在处理非结构化文本数据取得了显著的效果，在结构化数据领域尚未得到充分的探索。
KG的固有结构蕴藏着丰富的资源，并可用于执行复杂推理任务（如多跳推理）。目前尚未开发出通用的方法来利用自回归LLM完成基于知识图谱的任务（例如问答服务与知识验证）。
1.2 创新点--本文工作
本文提出了一种全新的通用框架 KG-GPT ，该框架通过LLM的强大推理能力实现基于知识图谱的任务处理 。 KG-GPT与StructGPT具有相似性 ，但存在显著差异 。具体而言 ，StructGpt侧重于从主体实体推导至最终答案实体的路径识别 ，而 KG-Gpt则采取了更为系统的方式——检索整个子图并进行推理 。因此可以看出 ， KG-Gpt相比StructGpt的优势在于不仅可以胜任KGQA任务 ，还能够拓展至基于知识图谱的事实验证等其他相关任务 。
KG-GPT包括三个步骤：
- 句子（声明/问题）分割:将一个完整的句子划分为多个离散的子句，并使每一个子句对应一个三元组。
- 子图检索:通过检索潜在的关系池来连接识别出的实体。接着利用这些关系以及实体集合来生成候选证据图池（即生成相应的知识图谱）。
- LLM推理:在最后一步中利用这些知识图谱来进行逻辑推导。
例如可以通过这些推导来验证给定声明的真实性或回答相关问题。
为了对KG-GPT进行评估，论文采用了基于知识图谱（Knowledge Graph, KG）的事实验证方法以及相应的知识图谱问答（Knowledge Graph Question Answering, KGQA）基准测试。这些测试都需要利用知识图谱的结构性信息进行深入推理以验证其有效性。
- 在以知识图谱为基础的事实验证过程中，在FACTKG的支持下涵盖了多种图推理模式的方法中进行研究时发现，在与其他全监督方法相比时显示出一定的优势，并且在某些领域表现更为出色。
- 在知识图谱问答系统（KGQA）中采用MetaQA数据集，在包含1-跳跃查询、2-跳跃查询和3-跳跃查询的任务构成的问题集合上进行训练时发现，在完全监督方法表现相当的情况下，并未出现性能随跳跃次数的增加而显著下降的情况。
2 方法
假设我们有一个图G（基于实体集合E和关系集合R的知识图谱），其中包含一条陈述性语句S（声明或问题陈述），以及与之相关的全部实体E
被给定。为了得到一个合乎逻辑的结论，需要一个准确的证据图
，经过基于句子分割与图检索完成两个阶段的任务。此外，在这一过程中所有上述步骤均采用基于上下文的学习方法进行处理，并以此为基础最大限度地提升大语言模型（LLM）的推理能力。
2.1 Sentence Segmentation（句子分割）
基于知识图谱（KG）的任务往往涉及多步推理。针对这一问题,采取了分阶段处理的策略.通过将一个句子分解为与单一关系相关的子句,并识别这些子句中的关系相较于直接在完整句子中寻找跨越实体的n步推理更为简单.
假设S可以被分解成子句子：S1，S2，...，其中Si由实体集合
和关系
组成。每个
这样的实体或类型都可以用于该系统中。具体实例包括 William Anders等来自图1-（1）中的信息；此外还可以代表其他类别。在R中的一对多关系可以通过ri属性实现映射至其所属集合中的一个或多个元素；这是因为系统允许存在多个与之意义相关的关联关系比如出生地点及出生地等关联关系能够满足复杂数据模型的需求。
2.2 Graph Retrieval（子图检索）
为了可靠地验证一个声明或解答一个问题，在这一阶段至关重要的是获得能够辅助进行逻辑推理的证据图（即子KG）。在此阶段的主要目标是首先确定每个子句Si与相关知识的具体关联性，并从中提取通用实体GE。对于每一个特定的子句Si，在这一过程中应尽可能利用LLM来精确且高效地将其映射至知识库R中的相应项或概念。
首先定义Ri⊂ R，它是根据G的模式连接到所有实体
图1-（2）中的关系候选构成了一种关系集合体（亦即候选关系）。该过程不仅涉及连接到特定实体的关联,还考虑了与G中实体类型相关的关联.
随后
在最后阶段的图像检索过程中，我们能够获取一个名为GE的数据集。这个数据集由多个三元组集合构成，在每个三元组中都包含三个属性之间的关系信息。具体而言，在这一过程中生成的所有三元组中（记为T），每个三元组（t）都对应着一个实体信息e_t∈E（其中E是实体集合）。特别地，在这种情况下，在每一步操作中都会生成一个新的嵌入向量g_e∈G（其中G是嵌入空间），它反映了当前节点与目标节点之间的关系特征信息r_{v,t}∈R的关系状态
2.3 Inference（推理）
随后，在LLM中输入S与GE以推导逻辑结论。为了在提示符中表示GE，在其相关联的三元组上实施线性化处理（具体形式为[[head1, rel1, tail1], ..., [headm, relm, tailm]]）。接着将这些线性化的三元组与句子S进行关联。实际上，在验证过程中，句子S是否得到支持或反驳的结果取决于GE的存在。当LLM处理问题时，在分析过程中会识别GE中的实体作为句子S的最佳答案。
3 实验
数据集：
- FACTKG：它是经过精细设计以实现事实验证的特殊构建体系，在特定条件下以知识图为手段展开验证工作。FACTKG展示了五种不同类型的推理机制：单步推理用于直接获取所需信息；关联性推演通过节点之间的联系解决问题；存在性推断用于判断特定实体的存在性；多步推演则通过多个步骤逐步接近答案；反向推断则用于从结果倒推出原因关系。为了进一步提升其在实际中的应用价值，在FACTKG中两种形式的要求被统一处理。
- MetaQA：该数据集致力于推动基于知识图的电影问答研究方法的发展，并包含超过40万个高质量的问题样本。其中包含了涵盖1跳、2跳和3跳推理实例的问题，并且覆盖了多样化的查询风格类型。
基线：
- FACTKG：其基线主要分为两种类型：一种仅依赖声明作为输入，并用于预测标签；另一种则基于包含证据的情况设计。
（1）当配置为"仅声明"模式时，在这种情况下除了现有的基线外，并增加了12个基于ChatGPT的新基准模型。
（2）而在带证据场景下，则整合了证据图检索器与声明验证模型，并将GEAR版本作为全监督学习框架使用。 - MetaQA:针对MetaQA平台的研究过程中，在该领域已知的一些典型基准体系包括KV-Mem、GraftNet、EmbedKGQA、NSM以及UniKGQA等现有技术方案的基础上进一步拓展完善。
此外，在该研究过程中还增加了12个基于ChatGPT的新基准体系方案。
实验分析：
基于FactKG数据集的研究框架展现出良好的准确性水平。然而，在与GEAR这样的完全监督模型相比仍存在明显局限性的情况下，则揭示了KG-GPT在处理少量样本时面临挑战：即难以从有限的标注数据中获取足够的知识。
基于MetaQA数据集的测试结果表明, KG-GPT展现出色效能. KG-GPT的有效性标志着在LLM框架下整合结构化与非结构化数据取得显著进展.
误差分析：（（每个数据集中100个不正确样本的错误数。））
在图检索过程中出现的失误数量最少的是三个关键步骤。这表明，在句子被正确划分后（或当句子得以正确分割时），识别其中的关系会更加简单明了。
随着跳数不断增加，在处理问题时所展现出来的多样性的程度也随之提高。由此带来的复杂性进一步增加了对句子分割造成的困扰。
4 总结
利用KG的事实验证方法和KGQA评估标准来对KG-GPT进行有效性的评估，在实验中发现该模型能够表现出一致且令人印象深刻的性能，并超越了当前的一些现有完全监督模型。这一研究结果表明，在LLM应用中整合结构化与非结构化数据管理方面取得了显著的进展。
5 局限性
The KG-GPT model heavily relies on context-aware learning, with its performance significantly varying with the number of provided examples. When there are sufficient or insufficient examples, the framework's performance is notably impacted. The framework becomes particularly challenging to address intricate tasks when examples are either adequate or of low quality.
其次, 尽管 KG-GPT 在事实验证及问答任务方面表现优异, 但相较于专门设计的完全监督型 KG 模型, 它仍显逊色. 这一性能差距凸显出 KG-GPT 因数据量受限导致其在多个学习情境中遇到瓶颈