Making Large Language Models Perform Better in Knowledge Graph Completion
文章目录
-
- 题目
- 摘要
- 引言
- 相关著作
- 基于LLM的KGC的基本设置
- 方法
- 实验
- 结论
题目
使大型语言模型在知识图完成中表现更好
论文地址：https://arxiv.org/abs/2310.06671
项目地址：https://github.com/zjukg/KoPA
摘要
以大型语言模型为基础的知识图补全方法的目标是利用LLM预测知识图谱中缺失的三元组
引言
知识图(KGs)[2]是现代AI的核心智慧成果与基础支撑体系。
kg通过三元组的形式记录和存储现实世界中的知识：每个三元组由头实体、关系与尾实体组成。
这种结构化的表达方式在多个AI领域带来了显著的好处，并被广泛应用于推荐系统[30]、问题回答[42]以及故障诊断[7]等场景。
尽管 KGs 的管理方式多样且灵活，在手动维护与自动抽取之间找到了平衡点。
它们局限性在于它们仅能涵盖已观测的知识领域……
这一现象催生了"知识图谱完整化"（Knowledge Graph Completion, KGC）项目……
图1：利用大型语言模型构建知识图谱的一个典型案例。在知识图谱中实体之间联系所蕴含的重要信息结构能够充当辅助提示，并帮助大型语言模型作出准确判断。
现有的KGC方法主要包含两大类：基于嵌入的技术[3]以及预训练语言模型（PLM）[40]。近来，大型语言模型（LLM）[23,46]展现出超越性的能力[24]，使得这一领域已受到了LLM带来的深刻影响。一些研究工作[41]则开始向基于LLM的KGC迈进，并借鉴了现有技术方案如零触发推理（ZSR）[4]和指令调整（IT）[24]等方法来实现KGC任务。然而，这种方法将KGC任务简化为基于文本的单个三元组预测模式，在某种程度上造成了局限性：首先，LLMs在知识表示方面存在局限性；其次，在处理复杂知识结构时往往显得力不从心；此外，在知识组织形式上也存在诸多不足之处：如子图结构、关系模式以及相关实体与关系等要素均未能被充分考虑进去。这些丰富的非文本结构信息如果能够得到恰当整合，则有望显著提升LLMs对知识的理解与表达能力。图1直观展示了结构信息对LLMs推理性能的重要性。然而，在传统ZSR方法中这种优势并未得到充分发挥：因为每个输入通常只包含一个单一的输入三元组这一特点而导致潜在的信息浪费现象严重——即结构信息中本应携带的价值并未被充分利用起来
为了解决这些问题, 我们决定向基于LLM的知识图谱推理（KGC）系统采取了具有里程碑意义的措施, 旨在探索如何将KG结构信息有效整合到LLM中, 并实现基于知识图谱的上下文感知推理. 在这一过程中, 我们的初始探索重点放在现有提示机制（如上下文学习(ICL) [9] 和指令增强(IT) [24]）上, 力求将其转移到支持知识图谱结构感知的能力框架中. 为此, 我们提出了一种新型的结构感知ICL方法以及一种新型的信息技术方法作为研究基础模型. 这种方法的核心在于以文本形式补充背景知识, 值得注意的是, 现有知识图谱中都包含实体及其关联关系的具体文本描述信息. 因此我们采用文本提示的方式将这些背景知识表示出来作为补充信息源, 期望通过提示引导机制使LLM能够学习掌握知识图谱中的局部结构性知识. 然而这种设计也存在明显的局限性: 即现有提示机制在利用复杂知识图谱中的结构信息方面仍显不足. 扩展提示中的文本描述依然无法充分挖掘复杂知识图谱中的深层结构性特征
此外, 我们开发了一种新型的知识前缀适配器（KoPA）方法,通过这种新方法,KoPA成功地将LLMs转变为强大的知识推理引擎. 在这一过程中, 通过结构嵌入预训练,我们成功地捕捉到了知识图谱的结构信息. 随后,KoPA借助于一个适配层,将结构嵌入转换为文本形式的表示,生成了一系列虚拟的知识令牌. 这些虚拟的知识令牌作为前缀插入到输入提示序列中,在指令调整过程中提供指导作用,从而补充了输入三元组的信息. 此外,我们对现有方法进行了全面而深入的分析与实验研究,充分展示了该方法在性能上具有卓越的优势以及良好的可移植性. 最终,我们的主要贡献体现在三个方面:首先是对现有LLM架构进行了创新性扩展;其次是在基于LLM的知识图谱构建（KGC）领域实现了突破性进展;最后则是在提升现有LLM处理流程中对知识图谱感知能力方面取得显著成效.
我们致力于设计一个新的跨模态大语言模型（LLM）范例，并在此过程中开发了名为KoPA的知识前缀适配器（Knowledge Pre-Knowledge Adapter）。该适配器通过整合来自预训练知识图谱（KG）的结构化嵌入与LLM的语言模型架构，在跨模态交互中实现了语言与知识的有效融合，并显著提升了推理能力。KoPA促进了LLM在文本嵌入与KG结构嵌入之间的全面交互机制，并通过系统性实验验证了其有效性与优越性
相关著作
研究型知识图补全（Knowledge Graph Completion, KGC）[37]是一项在知识图谱社区具有重要意义的研究方向，在现有知识图谱中发现缺失的知识 triplets 是其核心目标之一。该研究方向涵盖多个子任务领域，并且其核心在于构建一套有效的评估机制以衡量 triplets 的合理性程度。目前主流的研究方法主要可分为两类：一类是基于嵌入模型的方法；另一类则是基于预训练语言模型（Pre-trained Language Model, PLM）的方法。其中一类主要通过将 kg 中的知识 entities 和 relations 映射到连续的空间中进行研究，并充分挖掘了来自现有知识图谱中的丰富语义信息；这些方法采用适当的评分函数来评估 triplets 的合理性，并通过自我监督的方式提取 entity 和 relation 的表示。
此外，在以PLM为基础的方法中通过微调预训练的语言模型将KGC视为文本处理的任务[8]。简短文本被系统性地组织为输入序列并由PLMs进行编码 KG-BERT [40]作为首个以PLM为基础的方法将KGC建模为二元分类任务 MTL-KGC [16]和StAR [35]等后续研究则通过引入更多训练目标如关系分类三重排序以及更为复杂的三重编码策略来改进KG-BERT PKGC [21]则采用人工提示模板以捕获三重语义 这类如KGT5 [5 29]等其他方法在T5 [27]这类编码器解码器型PLM框架下探索序列到序列范例生成路径并取得了部分进展 以PLM为基础的方法虽然充分利用了其能力但将学习过程局限于基于文本的学习这使得难以有效捕捉知识图谱中复杂的结构信息
用于知识图谱（KG）相关领域的大型语言模型（LLMs）近年来取得了显著进展，在相当数量的任务中展现了强大的能力。这些模型通常通过自动预测下一个单词的方式进行预训练，并具备出色的文本理解和生成能力。在当前的研究方向中，整合LLMs与知识图谱（KG）[25]成为一个备受关注且重要的领域。值得注意的是，在现有研究表明[39,48]下，这类模型普遍存在感知幻觉现象的问题这一现象意味着这些模型缺乏事实性知识且难以解释其决策过程。为此可以通过引入逻辑管理模型将结构化知识融入到事实库中从而缓解这一挑战[10,15,26]。另一方面由于LLMs拥有强大的生成能力因此它们已经在多个与知识图谱相关的任务中展现出巨大潜力例如基于逻辑约束的知识图谱构建（KGC）[51,52]、实体对齐[47]以及问答系统开发等[1]。此外对于当前研究而言将现有的LLMs直接应用于知识图谱构建领域仍是一个待深入探索的重要方向
该系统在优化知识图谱（KGs）的能力方面采取了初步探索但该系统未能深入探讨如何释放KGs的能力以进行LLM中的结构感知推理从而提升知识图 Completion（KGC）性能本文将专注于从系统性角度深入分析这一问题并探讨如何提升相关能力.由于LLMs体现了文本生成的概括能力许多其他研究致力于将非文本模态融入其中例如呈现为图像[19 50]音频[22]和视频[22]这些都被视为多模态LLMs[45].我们将在多模态数据集上进行指令微调以实现对非文本标记与单词标记的有效对齐
常见的多模态生成模型通常不涉及图像数据作为输入特征；然而，在实际应用场景中仍需处理图像等其他重要数据形式之一的问题
基于LLM的KGC的基本设置
符号和预备知识A KG可表示为G = (E, R, T, D)，其中E代表实体集合且R代表关系集合。T是由满足条件{(h,r,t)|h,t ∈ E且r ∈ R}的所有三元组构成的集合；d则分别表征每个实体及其对应的关系描述信息。我们将D(e)，D(r)定义为其对应实体e∈E与关系r∈R的简洁文本描述。例如，在KG中涉及的具体对象如实体/m/0ctzf1对应的文本描述即被定义为D(‘/m/0ctzf1’)=“变压器”。当将LLM应用于KG构建任务时，则将其视为一个充当文本解码器的角色M。模型M所接收的输入序列S则由指令提示I、三重提示X以及可选辅助演示提示u三个部分组成：指令提示I是由人工预先准备以指导模型M执行KG构建任务的操作说明；而三元组提示x则包含了待处理的具体三元组信息并可通过X(h,r,t)=D(h)⊕D(r)⊕D(t)的形式进行表征（其中(№，⅖，⅖）∈t构成特定三元组；⊕符号被用作文本标记连接操作符）。
换句话说，在这一段中我们将使用h、r、t这三个符号来进行简洁描述作为输入信息源。同时为了使辅助演示提示更加灵活多样我们引入了标记U作为不同设置下的可选提示选项。在此上下文中我们将遵循h、r、t这一组统一符号系统展开后续讨论。以三元分类作为切入点研究如何利用现有的LLM技术实现知识图谱构建的任务（Knowledge Graph Construction）。其中三元组分类作为一个基础性的工作目标即是对给定的一个三元组进行二元分类判断（Binary Classification）。而在LLM范式中所有的具体任务都会被转化为特定形式的任务请求即生成相应的结果输出（Text Generation）。因此对于给定的文本序列输入S=I⊕U⊕X我们希望通过模型m能够输出相应的布尔值答案即True或False
与常规文本分类不同的是，在三重分类中提示中的实体及其关联性由预定义的知识图谱（KG）决定。缺乏此类关键信息的支持会导致模型的回应既不可靠又不够稳定。尽管现代大型语言模型（LLMs）[48]已积累了大量的常识性知识库，但研究表明：大型模型在处理微粒度的事实时往往表现出令人失望的能力；它们容易陷入所谓的"幻觉"状态而无法有效处理复杂的推理任务；基于此，在提示中整合知识图谱的信息不仅能够提供额外的支持数据还可以帮助引导大语言模型进行结构化推理；这正是实现优秀基于LLMs的知识图谱构建系统（KGC）的核心关键所在
在本节中, 我们首先探讨如何借助现有的主流LLM架构(统称为无需预先进行训练的推理机制与指令微调策略)来应对知识图谱构建的任务. 无需预先进行训练的推理机制促使LLM能够在未接受过任何额外训练的情况下输出直接的答案. 主要采用的方法包括零起点推理(ZSR)与基于上下文的学习(ICL). 针对零起点推理(ZSR), 我们将序列S𝑧𝑠𝑟 = I ⊕ X作为输入传递给模型,从而获得预测结果. LLM M的解码过程可以通过以下数学公式表示:
其中a是模型m的生成结果，在ZSR（零射击推理）中使用时需要遵循特定的操作规范。当配置ZSR时，默认情况下未将KG（知识图谱）信息纳入输入序列S𝑧𝑠𝑟.中；此外，在ZSR提示中所包含的关键性信息仅为测试三元组的文本描述。值得注意的是,ZSR受限于其内在设计,无法直接整合kg相关信息,因此无法被称为零射击方案.作为另一种无需预训练的学习范式,情境学习(ICL)[9]允许模型M在输入S的基础上附加辅助演示U,通过类比推理的方式完成任务,具体形式可表示为:
在三元组分类任务中，样本u应表示由若干三元组及其对应标签构成的集合形式{(X𝑖, y𝑖) | i从1到k}。其中X𝑖代表每个示范三元组,yɪ代表对应的标签。我们称k次示威活动的ICL技术简称为k-shot ICL。
可从现有训练数据中随机选取一定数量的三元组作为基础样本。为了进一步整合测试集中的三元组(ℎ, r, t)所关联的知识图谱信息，则建议在本地知识图谱的结构中进行抽样操作。即每个抽样生成的三元组都应包含ℎ或t中的一个实体。传统的知识图谱通常仅包含正向关系的三元组，在这种情况下我们采用负采样策略（如文献[21]所述）来生成负向关系的三元组用于演示。在平衡预测任务中，则要求正反类别的样本数量保持均衡，在示例提示系统中，默认将正向关系标记为true标签而将反向关系标记为false标签。
采用这种方法后，在包含正样例与负样例的设计下优化了展示式推断系统U的表现形式，并将其作为一种有效的辅助手段提升了系统性能的表现水平
在输入模板中，默认仅包含基础信息。用于训练模型m的输入序列按照如下形式构建：S_{i,t} = I_{i,t} \oplus X \oplus A_{i,t},其中A_{i,t}代表训练数据中的预测答案。通过下一轮的单词预测任务（参考文献[49]）对模型M进行微调,这被视为LLM预训练阶段的标准方法。其目标则可具体表述为：
其中s_i（i=1,2,…,|S_i^t|）用于表示输入序列S_i^t的文本标记在推理阶段，并通过模型M来预测测试数据的答案A_i^t（如公式（1）所示）。此外，在训练过程中采用了负采样方法[21]以生成负数据样本。这是因为训练知识图谱仅包含正三元组。
为了整合包含丰富语义知识图谱的信息到LLM中, 我们提出了基于结构感知的指令调整方案, 其核心在于通过在输入提示字段中加入一跳范围内的邻接关系描述以辅助LLM理解其内部结构。如前述章节所述, 知识图谱的知识关联性特征在其抽取与处理过程中发挥着关键作用[37]。为了使微调过程中能够有效整合这些知识图谱数据, 我们采用局部邻域三元组的信息提取与整合策略, 即首先采样节点h及其相关联节点t的空间邻近区域, 然后从该区域内提取一系列具有代表性的三元组集合, 最后将这些局部特征表示与原始提示内容进行融合增强。
因此，在深入探讨现有LLM架构时发现了一种整合知识图谱局部结构信息的新路径。然而，在某种程度上可行的同时这些方法仍存在明显局限性。这种基于知识图谱（KG）结构信息的基本方法主要依赖于将邻域信息融入输入提示的形式。然而将KG结构信息以文本形式表示并不是一种理想的选择因为这可能导致提示中出现大量无意义或冗余的信息随着提示长度无限增长这不仅难以扩展还可能导致模型性能下降和计算开销加大此外在知识图谱中提取能够决定三重关系的关键结构性信息也是一个极具挑战性的问题这两个难题使我们陷入了两难境地
本节我们将重点介绍知识前缀适配器（KoPA）的基本架构及其在大规模知识图谱中的应用。通过先期模型训练的方法，在给定的知识图谱（Knowledge Graph, KG）中提取实体及其关联关系的结构嵌入。随后通过指令调整机制对大语言模型（LLM）进行微调。在处理每个三元组时，在LLM的语言空间中生成其对应的表示形式，并将其作为输入序列头部附加的一个前缀标记。值得注意的是，在这种设计下，默认情况下后续文本只能通过单向注意力机制捕捉到这些预定义的前缀标记信息。
方法
为了应对这些问题，我们设计了一个称为知识前缀适配器（简称KoPA）的机制来融合知识图谱（KG）中的结构信息到知识图推断（KGC）的大规模语言模型中。图2提供了一个直观展示KoPA架构的视图。具体来说，在这一节中我们首先通过一种称为结构嵌入预训练的方法从知识图谱中提取实体及其关联关系的结构信息；随后通过一种称为结构前缀适配器的技术将这些结构信息传递至LLM模型处理的对象序列s中；在后续章节我们将详细阐述我们所设计的具体细节和技术实现方案。
基于自我监督机制的KoPA模型通过学习实体与关系的结构嵌入来捕获其内在特征，在这一过程中无需将邻域信息直接融入输入序列中；我们分别生成为每个实体𝑒和关系𝑟对应的低维向量𝑒∈R𝑑𝑒和𝑟∈R𝑑𝑟（其中𝑑𝑒和𝑑𝑟代表各自的嵌入维度）。在此过程中我们将KG中的结构性信息转化为低维表示，并使其能够适应大型语言模型（LLMs）所需的输入空间；借鉴现有的基于低维表示的知识图谱生成方法（KGC）我们构建了一个用于评估三元组似然性的得分函数F(ℎ, r, t)；为了实现这一目标我们采用了负抽样的自我监督预训练策略[3]
表1：基于LLM的方法在知识图谱构建中的比较研究。在提示长度分析方面，在模型性能评估中采用不同的提示策略成为关键指标之一，在具体实现过程中需要考虑多个因素的影响，在计算资源有限的情况下需要权衡效率与准确性之间的关系，在不同场景下需要灵活选择合适的模型架构以适应特定需求；其中L_I和L_T分别代表指令性提示与三重交互式提示两种类型的具体实施方式；而L_D则表示演示过程所占用的时间资源；此外,ZSR/ICL及IT分别涵盖了零触发推理、上下文学习以及指令调整三个维度的技术框架
表2:数据集的统计信息。在有效/测试组中，阳性(+)和阴性(-)样本为1:1。
其中γ代表边界的节点（boundary node），σ为sigmoid激活函数；(h_i, r'_i, t'_i)(i=1,2,…、K)均为K个阴性样本3.权重p_i则源自文献[31]中提出的自我对抗权重机制.为了实现上述目标,本研究通过最小化预训练损失函数这一途径,使得实体及其关联关系的结构嵌入能够更好地适应其所有相关三元组.这种嵌入方式能够有效捕获知识图谱中的子图结构特征以及关系模式信息.与现有基于嵌入的知识图谱完成方法[3,31]相比,该方法在早期的经典结构信息提取方面具有显著优势,如分布式表示模型[13].
通过结构嵌入预处理后引入的知识前缀适配机制，在完成KG（知识图谱）结构信息编码后推导出三元组(ℎ,𝑟,𝑡)及其对应的三元组向量(ℎ,𝑟,𝑡)。然而，在与LLM M所使用的文本标记表示空间不同的表示空间中进行学习意味着M无法直接解析这些嵌入向量。因此，我们通过应用知识前缀适配器P将这些原始嵌入映射至m所对应的文本标记表示空间中。具体而言，在经过P映射后原本属于不同表达维度的空间中的内容被整合并转化为几个虚拟的知识标记K:
具体来说，在实际应用中适配器P被设计为一个简单的投影层[50]。随后，在输入序列s之前加入k作为指令前缀。为了实现这一目标, 我们定义了三重提示S𝑘𝑝𝑎 = K ⊕ I𝑖𝑡 ⊕ X。考虑到decoderonly llms中的单向关注机制, 所有后续生成的文本标记都能够清晰地看到这一前缀k, 这样做的结果是让文本标记能够聚焦于输入三元组结构嵌入的信息。在训练过程中, 我们选择性地冻结了预先训练好的结构嵌入模型, 并通过优化过程使适配器具备建立从结构知识到文本表示的有效映射关系的能力, 并且在推理阶段具备对新增三元组信息的能力得以实现预测效果提升
为了评估KoPA的有效性，在提出该方法后进行了一系列对比实验
实验
数据集。在我们的实验中，我们使用三个公共KG基准UMLS [40]、CoDeX-S [28]和FB15K-237N [21]来评估所提出的基于LLM的KGC方法。数据集的详细分割信息如表2所示。基线方法。在我们的实验中，我们在三重分类上提供了与三大类基线的综合比较，这是KGC的一个重要子任务。KGC基线可以分为三个部分:基于嵌入的方法[3，31，34，38]，基于PLM的方法[21，40]和基于LLM的方法[41]。此外，我们进一步将基于LLM的方法分为两类:免训练方法和微调方法。
无需训练的方法主要包括Zero-Shot Recognition（ZSR）和Incorporated Classification Learning（ICL），而微调方法则基于普通信息技术和结构感知信息技术（后者经过增强）。具体而言，用于评估这些基准的方法包括：
- 基于嵌入的方法比较研究：本研究对TransE []、DistMult [38]、ComplEx [34]和RotatE [31]等四种传统的基于嵌入的方法进行了系统性比较分析。
- 模型性能评估：通过对 KG-BERT [40] 和 PKGC [21] 的性能测试发现，在复杂知识图谱建模方面表现突出。
- 方法创新与扩展：在现有研究基础上提出了 ZSR 、ICL 、IT 和增强 IT（StructureAware IT）等新方法框架，并将其纳入实验验证范围。
表3展示了三级分类的主要实验结果。我们通过三个数据集展示了每种方法在ACC（准确度）、§精确度以及®召回率等方面的性能表现，并标注了下划线以表示基线中的最佳Acc / F1成绩。The results achieved now outperform the state-of-the-art（SOTA） in terms of F1 score, and our outcomes are highlighted with bold text to emphasize the improvements.
实施细节及参数设置方面展开说明：我们在实验阶段设定参数时，默认采用𝑑𝑒=𝑑𝑟=512维向量空间，并选取了32个负样本用于训练过程中的采样策略。对于对比实验中的关键超参数γ，则采取动态调节的方式，在候选集合{0,4,6,8,12}中进行遍历探索。在此基础上建立了一个多轮自适应优化机制，在完成知识图谱生成器（KGC）模型训练后，默认采用文献[3]中的标准流程，在验证集上确定最优分类阈值时，默认采用文献[3]中的标准流程。对于基于预训练语言模型（PLM）构建知识图谱生成器（KGC）的主要架构模块而言，在相关研究领域内已有诸多创新成果可资参考：BERT [8] 被选作基于预训练语言模型（PLM）构建知识图谱生成器（KGC）的主要架构模块
对于零射击推理任务而言，在采用了相同主干羊驼进行测量的基础上
对于KoPA系统而言，我们选用羊驼-7B [32]作为LLM主体架构。羊驼系列模型是基于羊驼基础模型而发展而成的知名延伸版本，在针对指令跟踪数据进行微调的过程中展现出良好的性能表现。我们在美洲驼和羊驼两种主体架构上分别复制了KGLLaMA [41]模型的三重分类结果，并命名为KGLLaMA-Llama和KGAlpaca-Vicuna以区分两者的特性差异。在采用不同微调策略（包括指令优化、结构感知指令优化以及KoPA方法）时，我们采用了秩为64的LoRA [14]参数对Alpaca模型进行了相应的优化配置并展开微调训练工作。具体而言，在实验参数设置中我们采用了{3,4,5}范围内的历元数值，并在{1𝑒4, 3𝑒4, 5𝑒4}区间内动态调节学习率的变化幅度以优化模型收敛速度与训练稳定性之间的平衡关系。为了提升训练效率并保证系统的可靠运行性，在所有实验过程中始终采用了AdamW优化器 [20]来进行参数更新操作，并将实验运行环境固定在批量大小为12个样本的标准配置下进行操作以确保结果的一致性与可重复性研究的目的得以实现。值得注意的是，在实验环境中使用Nvidia A800显卡进行加速后发现该系统的整体性能表现依然令人满意：结构嵌入预训练过程仅需几分钟时间即可完成；而LLM主体架构的微调过程则成为了决定整体实验耗时的主要因素；针对不同规模的数据集（UMLS、CoDeX-S及FB15K-237N）分别进行了持续几小时至几天时间之内的系统性能评估工作以获取更优的结果组合方案
为了评估这些方法的有效性, 我们采用了三重分类任务[3]这一二元分类任务采用了平衡标签设计, 所有测试数据集均为均衡分布。基于准确率、精确率、召回率以及F1分数等指标进行评估, 表3展示了三级分类的主要实验结果。需要注意的是, 在实际应用中单纯的精度与召回并不能充分反映模型的整体性能, 因此我们就关注于精确度与F1分数这两个关键指标的同时, 表中也列出了精确率与召回率的相关数据具体而言, 则应关注精确率与F1分数这两个关键指标然而为了全面比较各模型性能间的差异性特征, 我们不仅考察了各单一流向性能参数的表现情况, 更结合多维度综合评价体系对各对比方案进行了系统分析结果显示KoPA在多个基准数据集上的准确度与F1值均超越现有的16种对比模型
此外，在现有方法的基础上进一步研究发现
但是，在对LLMs进行微调的过程中可以实现KG（知识图谱）的信息融入其中，并且这种做法会带来显著的整体性能提升效果。此外，在对比不同技术时发现尽管基于三元组邻域的信息增强型算法在提升输入提示效果方面表现突出但也存在一定的局限性——即相比于仅依赖于文本辅助的方法这种嵌入形式能够携带更为丰富的语义内容并且可以通过前缀适配器被这些大语言模型有效处理这一发现结合4.3节的相关分析以及实验数据表明在保持提示简洁性的前提下模型取得了更好的推理效果
通过关键实证研究的主要实验结果表明KoPA具有显著的有效性。为了进一步验证模型的通用性和可移植性能进行补充的一个新的可移植性实证研究。在这一补充实验中我们展示了该适配器旨在通过从结构化的嵌入向文本标记表示的转换来学习生成意义丰富的辅助信息从而为LLM推理过程提供语义丰富且有意义的支持。
为了验证KoPA在未被训练数据包含的情况下对 entities 的影响效果, 我们设计了一个实验框架. 这种方法也被其他知识图谱构建技术称为一种 'inductive setting' [6]. 我们将 KG 数据集划分为一个基于预设归一化率（如 IR）的设计方案. 归一化率指的是在训练阶段未出现过的 entities 的比例. 举个例子, 如果归一化率为 10%, 我们将在候选集合中随机选取约 10% 的 entities 作为候选集合. 在实际训练过程中, 与候选集合相关的数据行都将被排除在外. 测试集中所有的 triple 将分为可见样本与非可见样本两类. 如果某个 triple 中头或尾节点属于候选集合, 则该 triple 被视为非可见样本. 在模型微调阶段, 我们仅利用剩余可访问的数据进行优化, 并通过区分可访问与不可访问 triple 来评估模型性能.
在这种设置下, 一组实体不会参与训练, 并且LLM无法看到它们的文本描述。这意味着测试会变得更加具有挑战性。我们评估了三个不同的情况: 可见(S), 不可见(U), 和所有(A)的情况, 如图3所示。这些方法包括KoPA, vanilla IT, 和增强版的结构感知IT。
图3展示了可移植性实验的结果。该实验在CoDeX-S数据集上以不同归纳率（IR）进行展示，并基于实体是否出现在训练集中将测试样本划分为可观察和不可观察两类，并将所有测试样本的结果汇总分析。该雷达图详细展示了模型精度（Acc）与F1分数（F1）的表现。
表4: CoDeX-s平台上的消融实验结果
通过分析无线电图表数据可以看出，在不可见三元组场景下KoPA表现更优，并且当IR数值上升时其性能下降幅度相对较小。值得注意的是，在文本形式邻域三元组中进行结构感知时（采用增强IT策略），系统的稳定性表现较差。这些实验结果表明，在训练阶段未接触实体的情况下（即实体不可见），知识前缀适配器依然能够有效地建立从结构嵌入到文本表示的稳定映射关系。研究表明，在为大规模语言模型（LLM）提供有效的上下文信息方面，通过KG捕获得到的结构嵌入表现更为突出。
为了验证KoPA设计的有效性我们进行了两组消融实验第一组实验旨在评估结构嵌入的表现第二组实验则用于检验前缀适配器的作用从表4的数据可以看出当移除结构化嵌入或者采用随机初始化嵌入进行替换时模型性能均有所下降进一步分析发现该方法能够兼容多种不同类型的结构嵌入然而其性能提升效果取决于原始嵌入在三重分类任务中的表现能力对比表3数据可以看出基于TransE [3]以及RotatE [31]等方法相较于DistMult [38]与ComplEx [34]而言在知识图谱推理任务上展现出更强的性能优势这表明丰富的语义信息对于提升模型性能至关重要而KoPA方法则充分发挥了这一优势
此外，在适配器生成的内容中将虚拟知识标记放置于输入序列中间位置或末尾位置也会降低性能。我们推测原因之一是由于LLM作为仅解码器架构存在会使得所有内容均聚焦于其自身这一特性。接着，在与文本进行充分交互的过程中LLM能够通过结构嵌入获得更为精准的理解从而作出优化决策。通过消融实验考察这两个方面的情况我们发现KoPA设计在提升性能方面表现突出且具有一定的理论合理性。案例探讨为了更加直观地理解KoPA的工作原理我们在本节中从宏观层面来看待其作用机制并进行了详细的实验验证工作：具体而言我们对多个模型进行了性能对比并借助文氏图展示了不同模型之间的预测重叠情况（如图4所示）。
图4展示了各KGC模型准确预测的结果通过维恩图展示。各图表区域之间的重叠部分表示不同KGC模型对同一数据集产生相同预测的情况。
通过分析图表数据发现显著差异的是KoPA模型在某些特定测试集上的表现更为突出。这表明Ko帕尔模型在利用结构性信息方面具有显著优势。具体而言，在一个微观案例中（测试三元组：约翰·兰迪斯、电影导演电影、来到美国），无论是旋转模型还是经过常规LLM调整后的模型均未能正确预测结果。此外，在检索到的相关三元组（来到美国、纽约市、浪漫喜剧）、（约翰·兰迪斯、国籍、美国）等均未能帮助提升预测准确性。尽管这些信息确实是正确的事实但它们并未对当前的任务判断产生实质影响这是因为这些领域知识与当前的任务目标关联性较弱。值得注意的是相比于纯文本结构信息，在结构嵌入方式下能够更好地捕获深层语义关系，并且在预训练阶段能够提取出更为丰富的语义特征因此使得Ko帕尔系统能够在复杂任务中展现出更强的能力
深入探讨LLM通用能力保留机制的过程中
图5：MMLU上的常用能力实验。
在大多数情况下呈现下降趋势的同时 我们还需注意到 在UMLS数据集上STEM领域的能力出现了一定程度的提升 这一现象可以从以下几个方面进行分析 首先 UMLS作为一个医学知识图谱（KG）涵盖了医学 生物学和化学等多个领域的专业知识 并通过其特有的数据集为模型提供了广泛的学习资源 因此 当模型面对与训练任务类型不同的自然语言输入时 它能够更加灵活地调用从KGC微调阶段获得的专业知识 从而产生更为优化的结果 我们已将部分受试者列举出来 这些个体在与UMLS共同学习后展现出了明显的进步 经过表5的相关数据分析 可以看出这些主题与其所涉及的知识领域有着极高的关联性 同时 对于接受KGC微调训练的大型语言模型而言 在面对不同形式的输入提示时 已经展现出显著提升的效果 这一发现无疑具有重要的研究价值
表5:在MMLU的特定领域中，LLM在UMLS上培训后取得了更高的分数
结论
本文深入研究了如何将结构理解能力整合到逻辑推理模型中以提升知识图谱构建的效果。我们不仅扩展了现有的LLM架构还创新性地提出了基于结构感知的信息整合方法通过文本来实现对实体间关联关系的提取与组织工作。在此基础上我们进一步开发并完善了KoPA（Knowledge Precedent Adapter）这一技术手段实现了预先训练模型与复杂知识图谱的有效适配最终形成了更加完整的知识驱动推理框架体系。为了全面评估所提出方法的效果我们设计并进行了多层次分类实验分析并通过对比实验展示了KoPA相较于现有方法在性能指标上取得了显著提升并有效提升了推理结果的质量与准确性