文献阅读报告-KICGPT: Large Language Model with Knowledge in Context for Knowledge Graph Completion

LLM与知识图谱协同

题目

KICGPT: Advanced Large-Scale Language Processing System incorporating contextual knowledge, aimed at completing or enhancing knowledge graphs.

KICGPT：一种基于上下文知识整合的大规模语言模型旨在进行知识图谱补全（Knowledge Graph Completion）。

GitHub - WEIYanbin1999/KICGPT: KICGPT, 一个基于大语言模型的知识上下文处理框架, 用于构建完整的知识图谱

（2024.02）

1.实验背景

1.1 研究背景和现状

知识图谱补全（KGC）不仅填补了知识图谱数据的缺失，在填补这一缺口的同时也为实际应用场景提供帮助。现有的 KGC 方法主要分为两类：一种基于三元组关系的知识表示方法与另一种利用文本信息进行分析的技术。

主要采用基于三元组的方法（如TransE （Bordes等研究者, 2013）、R-GCN （Schlichtkrull等, 2018）以及HittER (Chen等, 2021)）。由于现有知识库中的知识结构信息较为有限且实体分布存在明显偏差，在实际应用中往往会导致难以有效处理长尾实体的问题。

早期的浅知识图嵌入（KGE）方法会将实体与关系表示为连续嵌入空间中的低维向量；然而，在采用浅层网络架构时所具有的局限性较为明显

近年来集成更为强大的网络架构以应对知识图谱构建问题。作为实例可以参考Schlichkrull等在2018年的研究、Dettmers等在同一年的工作以及Chen团队于2021年的Transformer模型。通过将局部上下文信息融合到节点嵌入中显著提升了模型性能。然而由于对长尾实体认知的局限性以及知识图谱整体结构的非均衡分布问题导致长尾实体的知识分布仍然不够理想。

元学习框架（Xiong et al., 2018；Chen et al., 2019）以及逻辑规则体系（Sadeghian et al., 2019）能够有效地缓解知识图谱（Knowledge Graph, KG）中的长尾问题。在本质上与现有方法的不同之处在于，在于它们基于KG中有限的信息提取与总结共同的结构模式或规则来进行长尾实体的知识表示优化。而KICGPT则通过整合了LLM内部广泛的知识资源与KG中的结构性信息，在此基础上实现了对数据完整性与语义准确性双重提升的作用效果

基于文本的方法（例如KG-BERT(Yao等人, 2019))解决了这一挑战,然而在训练这些模型时会面临高昂的成本,同时需要对其知识图谱进行专门的微调,这使得该方法在实际应用中存在一定的局限性

DKRL （Xie et al ., 2016）首次将文本描述引入到 卷积神经网络 生成的实体嵌入中。

后续研究（例如KG-BERT(Yao等人, 2019)、KEPLER(Wang等人, 2021b)以及Pretrain-KGE(Zhang等人, 2020b))基于预训练语言模型(缩写为PLM)，对文本描述进行了编码处理。

近期研究中,Langevin等学者（Wang et al., 2022a）提出了该领域的一种对比学习方法,该方法基于词标记空间中的PLM模型生成实体与关系的嵌入表示,并展示了在长尾分布场景下的有效性。现有方法通常依赖于预训练语言模型来处理文本描述内容,且需根据具体知识图谱进行微调优化。推荐采用KIC-GPT架构直接部署于LLM平台,这种设计显著提升了计算效率,无需额外的训练资源或参数调整。

3 LLMs在知识图谱中的应用：

Zhu等人（2023年）对LLM在知识图谱推理方面的性能进行了直接评估。我们的研究设计了一种指导LLM进行知识图谱推理的策略。此外，在链接预测任务的研究中，则仅基于FB15k-237数据集抽取了其中的25个测试三元组来进行相关分析。为了对比分析结果的有效性，在ChatGPT上重新设置了与原有研究不同的参数配置，并将其作为本研究的基础进行实验验证

4 ICL在LLMs中的应用：通常采用上下文学习机制（In-Context Learning, ICL），以指导大型语言模型（LLMs）的行为。通过上下文学习机制的运用，在处理过程中模型得以接触并获取特定的上下文信息，并从中把握并复制精确生成所需的知识模式和结构。（Ouyang等人, 2022年）。然而该方法的成功程度与提示质量密切相关。值得注意的是，在现有研究中仍缺乏针对知识图谱构建任务的应用研究。与现有工作不同的是，在本研究中我们提出了一种创新性策略——基于知识提示的方法（Knowledge Prompt），该方法特别考虑了KGC任务的特点，并已在KGC任务中验证了其有效性

1.3 本文研究

本文主要致力于探索知识图谱中的链接预测问题，在面对数据不完整的情况下，我们旨在识别三元组中缺少的实体。在本文中提出了一种名为KICGPT的新框架，在该框架中结合了大型语言模型（LLM）与基于三重关系的知识图谱检索器。该框架有效缓解了长尾分布的问题，并且无需额外增加训练负担。

我们开发了一种新型的成本效益型框架KICGPT来应用于KGC任务。这次尝试首次将大型语言模型与基于三重结构的KGC方法结合使用，并为解决这一挑战提供了一个创新性的解决方案。

我们开发了一种新的情境学习方案，并将其命名为Knowledge-Oriented Prompt来服务于KGC

在基准数据集上的大规模实验结果表明，在计算资源有限的情况下（即较低的训练开销），KICGPT仍能实现与现有方法相当甚至更好的性能

3.实验方法

2 技术概述： 采用自己的语言表达与阐述相关技术的内涵与框架等

该文章提出Knowledge In Context with GPT (KICGPT) 框架的构建过程，并将其与LLM和经典的结构感知能力KG模型融合为一个整体。

在本节中，我们将介绍建议的KICGPT模型。完整的算法见附录A.1。

3.1 问题设置

知识图可以用三元组G = {(h, r, t)}来表示，在这种情况下,E和r分别代表了G中的实体集合与关系集合,h属于E是头部实体成员,t属于E是尾部实体成员,r ∈ r用来描述它们之间的关系

链路预测是知识图谱构建中的关键环节。基于一个包含部分信息的三元组（h, r, ?）或（？, r, t）作为查询，在构建这一机制时需明确识别并填充这些缺失的关系两端实体。对于每个潜在的目标实体来说，在构建该模型时需要评估其与已知信息之间的关联程度。

本文重点放在缺尾实体（即（h, r, ?））的查询。

3.2 概述

前m个：先由KG输出，送入LLM后重新排序；

后 n - m 个：直接由KG输出。

（me：解决了LLMs长度限制。）

3.3 知识提示——专门为KGG设置的策略

Demonstration Pool（示范池）

该集合Da作为类比池存储着若干三元组，在帮助LLM利用类比机制来提升对查询语义的理解能力方面发挥着重要作用。其中，Gtrain和Gvalid分别代表用于训练与验证的知识图谱中的三元组集合。而Da则被定义为{(e', r, e') | (e', r, e') ∈ Gtrain ∪ Gvalid 且存在关系使得(e', r, e)属于知识图谱中}的所有满足条件的关系项组成的集合。

补充集Ds包含为查询对象h提供额外信息的所有三元组集合。其中包含了两类特定类型的三元组：一类是以h作为头或尾部节点连接关系r'并指向实体e'的所有(Gtrain∪Gvalid)中的关系和实体；另一类则是将这些关系反转后以(e', r', h)形式存在的三元组，在(Gtrain∪Gvalid)中同样满足条件的关系r'和实体e'约束关系。

Demonstration Ordering（两个池的排序）

为了让LLM在各种示范中学习并掌握多样化的知识内容，在构建类比池时需要特别注意知识库中的不同实体之间不应出现过度依赖或重复的情况。具体而言：① 对每个实体初始化一个计数器，并将其值设为0；② 初始化时从知识库中随机抽取一组三元组，并将这些三元组中的所有关系涉及的实体计数器的值加1；③ 在迭代过程中，在所有已处理过的实体中选择计数最小的那个；④ 重复上述步骤直至知识库中的所有三元组都被使用完毕之后，则生成并标记为La的那一份示范列表。

补充池模块：为了追求更高的相关性评估标准而建立的一种数据组织方式，在构建过程中将按照BM25分数对各个演示内容进行排序处理（该数值主要用于衡量每个演示内容与查询文本间的关联程度）。

这些在数据预处理实现。

Prompt Engineer（提示工程）

KICGPT通过特定的提示模板配置将输入的搜索查询和演示内容转化为具有统一格式的纯文本内容，并与大预言模型进行交互交流，在训练过程中持续引导模型进行有序排列。

3.4 文本自对齐

将KG中的三元组转化为易于LLM理解的文本描述。传统的文本表达往往不够清晰或模糊，在KB中常见于这样的表示方式：例如，在FB15k-237数据集中，默认的关系表示方式为 "/tv/tv_program/country_of_origin"。然而这类组织方式对LLMs来说难以理解和处理

为了求解上述问题而引入ICL系统。具体而言，请将类比池Da作为演示案例，并将其排序为有序列表La；然后将这些演示输入到LLM中，请其根据指示将关系语义归纳成一句话的形式。以上述示例为例，在该情况下LLM生成的结果是：'T国是来自'H国制作的电视节目的国家.'其中'T'和'H'分别代表头尾实体的占位符

数据预处理通过文本自对齐生成这些描述后可以直接作为KICGPT中的关系文本用于链接预测这一任务中使用的变体通常称为KICGPTtsa

3.1 实现思路：

对于q = (h, r, ?) 或 q = (?, r, t)，

KG模型首先分别进行查询q，并产出候选实体的有序列表Rretriever。（这些候选实体按照其对应的得分值进行排序）

该系统通过重新排列 LLM 对 Rretriever 返回的前 m 个实体，并替代原来的 前m个实体来优化数据集的质量。经过此操作后生成的结果为 RKICGPT。

4.实验

在本节中，我们将对KICGPT进行经验评估。

4.1 实验设置

FB15k-237属于freebase图谱的子数据集，在其范围内涵盖了与电影、体育赛事、奖项授予以及旅行相关的事实性信息；而WN18RR则源自WordNet（Miller, 1995），专注于存储英语词性知识。

基于三阶的；RESCAL；TransE；Complex；RotatE；TuckER；HAKE；CompoundGCN；HeteroRNN.

基于文本：Pretrain-KGE 、KG-BERT 、StAR 和memm - kgc

基于llm的：ChatGPTzero - shot和ChatGPTone - shot。

KICGPT采用RotatE模型（Sun et al., 2019）作为检索器，并基于先进的生成式模型（gpt-3.5-turbo）构建而成的智能语言模型作为LLM。

RotatE采用原始超参数，

4.2 实验结果

在多数指标方面来看,KICGPT与KICGPTtsa分别在FB15k-237及WN18RR上均展现了卓越的表现

基于Fb15k-237的数据集，在各项评估指标上优于所有的基准模型。

通过采用自对齐的方法，在Hits@10指标上表现出提升效果的同时，则可能导致Mean Reciprocal Rank（MRR）以及Hits@{1,3}指标出现下降情况。其原因在于这些展示内容与模型对齐的过程相互促进，并增强了模型在正确语义理解方面的信心水平；然而对于LLM难以准确理解和处理的关系场景而言，在这种情况下通过模型对齐的方式可能无法充分反映真实语义信息。

在WN18RR数据集上运行时，在除了Hits@10指标外的所有评估指标中,KICGPTtsa均表现最佳。相较于FB15k-237数据集,KICGPTtsa在文本自对齐方面的优势更为明显,这与WN18RR（平均三元组数量为8454.8）相比具有更高的关系密度有关,从而有助于生成更加精准且详细的文字描述。由于每个关系的信息量显著提升,这种特性使得模型能够从WN18RR训练集中提取出更为简洁明了且具象的关系描述模式,如表3所示进一步证实了这一现象的存在

本研究提出的方法在对比实验中显著优于基于三元关系及文本表示的传统方法；研究表明，在LLM内部构建的知识库能够有效提升系统性能；与现有基于LLM的传统模型（如ChatGPT 3.5版本）相比，在两个标准数据集上进行实验验证后发现，在两个数据集上的性能均明显优于后者；通过对知识图谱中关键信息进行系统性的注入优化，在多个评估指标上均实现了超越 baseline的结果

4.3 消融实验

使用FB15k-237数据集进行消融研究，以证明KICGPT中每个组件的有用性。

在一项消融研究中, 我们随机打乱了rretriver中的top-m实体顺序, 然后将这些实体输入到LLM中。观察到, 这会导致轻微性能下降。这表明, 在rretriver所提供的实体顺序方面具有重要意义, 可以帮助降低重新排序的难度。

在第二项研究中，在类比池与补充池中通过随机排列类比与补充样本的论证顺序。再次观察到实验结果表明示范池顺序具有合理性。

在第三项研究中，我们从KG中抽取随机三元组用于demonstrations。这种做法导致了性能出现下滑，并且体现了第3节中构建演示池 重要性的价值。

在第四项研究中, 我们完全排除了所有展示环节, 并特意为模型输出设置了前m个候选项以实现精准引导. 研究数据显示，在完整模型之间存在显著的效果差异这一现象被明显观察到, 这一发现凸显了该方法的重要性. 不过值得注意的是, 带有ICL策略时的表现略逊于无指导情况. 这可能源于知识图谱中含有大量三元组, 导致随机展示的内容与查询主题的相关性较弱. 为了防止误导结果, 直接使用无关知识片段进行演示是不可取的做法.

在附录A.2的研究消融实验中

4.4长尾实体分析

在处理长尾条目时，基于文本的信息处理方式较之基于三元组的表现略显卓越。与这些基准方法相比，在大多数分组中均实现了性能提升，并且在长尾实体识别方面尤其出色。这进一步验证了LLM联合知识图谱带来的优势。

5.结论

在本文中, 我们开发出了一种具有显著效果的框架KICGPT, 通过将LLM与传统的kgpt方法进行整合, 实现了link prediction任务, 同时还开发出了一种新型的ICL策略, 称之为知识提示. KICGPT依赖于LLM作为一个额外的知识库. 相对于基于文本的方法而言, KICGPT利用了LLM的无训练特性, 显著减少了训练开销, 并且无需对不同的KGs进行调优. 实验结果验证了KICGPT在链路预测基准上的卓越性能, 对长尾实体的处理具有有效性

限制：

在知识图谱构建过程中（KGC）所提出的方法其性能得以显著提升主要是得益于生成式模型（LLM）具备规模宏大且涵盖广泛的语义信息存储能力。然而针对某些特定Knowledge Graphs（例如电子商务平台中的用户偏好数据）这类系统可能会面临知识获取不足的问题因此该方法主要用于处理具有常识性质的知识图谱此外鉴于生成式模型受到计算资源限制无法完全按照预期从大规模的知识图谱中提取和整合所有相关信息

6.个人体会：

在本文中, 提出了高效的 KICGPT 框架, 将 LLM 与传统 kgpt 结合以实现链接预测. 同时提出了新的 ICL 策略‘知识提示’用于知识图谱补全任务

6.1 优势：

性能好：

填补研究空白：

提出新框架：

提出新ICL策略：

充分利用GPT超大语料库：

6.2缺点与潜力：

根据作者的观点，在采用自身构建的ICL策略后带来了显著的性能提升。然而整体而言，在很大程度上依赖于GPT会导致了一个不可避免的缺陷。该框架在补充和强化GPT擅长的知识领域方面表现良好，在处理专用知识方面仍需进一步优化。

6.3个人体会：

该文献在知识补全领域既深入汲取了现有经典模型又系统地采用了前沿研究方法，并且通过全面分析深刻认识到llm模型在理论与实践层面仍面临诸多挑战。

作者巧妙地将已有模型与方法进行了融合，并且在知识图谱补全领域应用了这种方法。此外，在这一领域中没有先人采用过这种方法，因此这成为了作者的第一个创新点。

在此基础上

所以如果从零开始创业首先要深入分析行业发展趋势其次要充分利用现有的技术模型最后要深入研究那些空白区域虽大但意义重大的领域

7.参考文献：

Wei, Y., Huang, Q., Zhang, Y., & Kwok, J.T. (2024). KICGPT: A Large Language Model with Contextual Knowledge for Knowledge Graph Completion. ArXiv, abs/2402.02389.