Do Pre-trained Models Benefit Knowledge Graph Completion?A Reliable Evaluation and a Reasonable App

摘要

近年来，预训练语言模型(PLMs)显示出从海量文本中提取事实知识的能力，并因此促成了基于PLM的知识图完成(KGC)技术的发展。然而，在性能方面这些方法仍明显落后于当前最优解(KGC-SOTA)。本研究揭示了导致这一差距的主要原因:(1)在封闭世界假设下设置可能会低估基于PLM的知识图完成技术的能力;因为这些设置引入了外部知识;(2)大多数基于PLM的知识图完成技术误将实体与关系标签简单拼接作为输入信息而导致系统运行不连贯，并未能充分利用PLM隐含的知识资源。针对上述问题我们采用了开放世界假设(OWA)下更为精确的评估标准，并在此基础上提出了一个新的基于PLM的知识图完成模型PKGC.其基本思路是将每个三元组及其支持信息转化为自然提示语并将其输入至PLM进行分类识别.通过在两个KGC数据集上的实验测试发现采用开放世界假设下的评价标准能够显著提高知识图完成技术的信任度;特别是在链路预测任务上该方法表现尤为突出;同时新提出的PKCG方法在两种评估模式下均展现出良好的性能。

1.介绍

在多个自然语言处理(NLP)领域中逐渐成为一种在多个领域中逐渐成为一种不可或缺的基础支撑（Cui等, 2017; Zhou et al., 2018），一种高效的知识表示手段。
为了进一步扩展知识库的覆盖范围和内容量，在这一过程中研究人员主要采用了自动化技术或基于协同编辑的方法进行研究探索，
然而这些探索仍然未能彻底解决现实世界中大量新兴知识点难以被覆盖的问题。
这一问题推动了对知识图补全（Knowledge Graph Completion, KGC）技术的研究发展，
即通过深入挖掘现有知识图谱中的内在规律来预测并填补其中缺少的知识关联。

快速占据整个NLP领域，并非简单的渗透或占据位置。预训练语言模型(PLMs)在知识图谱(KGC)中的潜力引起了广泛关注。Petroni等（2019）与Shin等人（2020）发现，在大量未标注的数据中预训练语言模型已经隐含地捕获了丰富的事实性知识。这可能有助于弥补现有知识资源的不足。KG-BERT（Yao等, 2019）是首个将预训练语言模型引入到知识图谱构建中的系统。通过将三元组中的实体及其关联关系作为输入传递给预训练语言模型，并对其输出进行评估以验证其有效性。Kim等（2020年）在此基础上提出了多任务学习框架。然而，在这种基于PLMs的知识图谱构建方法中取得的效果并不令人满意：与传统基于向量的知识图嵌入方法相比（如Hits@10指标下的SOTA模型），其性能落后约20.8个百分点。这种差距的存在引发了以下疑问：为何从PLMs中获得的事实性知识无法对知识图谱构建产生有益影响？

如图1所示：不同设置下的链路预测评估结果。其中标示出的实体均为正确答案；然而，在封闭世界假设条件下，仅红色实体被判定为正确。

在本研究中发现有两个主要因素导致基于plm的kgc模型性能欠佳:(1)评估机制存在偏差。传统的kgc评估通常基于封闭世界假设(cwa)，即认为在给定kgc中未见的知识视为不正确这一设定有助于自动构建数据集并避免繁琐的手动标注工作然而plm引入了许多不可见的知识这在cwa框架下被视为不符合实际从而导致性能下降如图1所示对于一个三重查询(england contains ?)基于plm的kgc模型能够识别出许多尾部实体(用黑体突出显示)但只有pontefract能在cwa下被确认因为它存在于知识图谱kg中(2)现有方法对plm的应用存在明显缺陷现有的基于plm的kgc模型往往只是简单地将三元组中的实体与关系标签作为输入直接传递给plm这种做法使得生成结果缺乏连贯性与预训练任务的目标存在差距因此难以充分利用plm所蕴含的知识

我们进一步提出了一种新型基于PLM的知识图谱生成（Knowledge Graph Construction, KGC）模型PKGC，并通过更精确的方式提取PLM参数中蕴含的知识。受到基于提示的方法（Petroni et al. ，2019; Shin et al. ，2020）的启发，在PKGC的基本框架下将每个三元组转化为自然提示语句而非简单拼接标签。具体而言，在为每个关系类型建立特定提示模板的基础上引入软提示机制以更细腻地表达三元组语义信息。得益于提示优化机制的选择性作用，在构建知识图谱时PKGC能够灵活地考虑三元组间的上下文关联（如定义与属性）等信息，并将其作为辅助提示插入到生成的三元体提示句尾部。

我们对Wikidata和Freebase两个知识图谱推理系统（KGC）数据集进行了系列实验研究，在采用OWA框架而非传统的CWA框架下对基于kge和plm的知识图谱构建方法进行了重新评估。实验结果表明：第一，在OWA框架下对知识图谱进行评价表现出更高的准确性特征，在知识资源更为丰富的场景下（尤其是基于plm的KGC模型），以及在路径预测任务更为开放的情况下表现更为突出；第二，在评估过程中我们发现：通过将三元组关系及其支持性信息转化为自然提示语的方式展开知识抽取工作后，在利用预训练语言模型（PLM）辅助知识图谱构建任务时展现出较高的效率；第三，在具体实现过程中我们发现：该方法的优势不仅体现在PLM能够从海量文本中提取出一定量的相关性知识上（这与传统方法相比具有显著提升），更重要的是我们的模型具备较强的推理能力，在基于知识图谱和PLM的共同作用下能够有效推导出隐含的知识节点信息。

2.相关工作

2.1 Evaluation of KGC

大部分现有的知识图谱生成（KGC）模型（Ji及其合著者，2021年）主要基于CWA进行评估。由于数据集能够自动生成，在本质上CWA是一种近似假设。这可能会影响评价结果的准确性。

OWA较少应用于评估KGC模型的性能表现,因为它需要对不可见的三元组进行人工标注。近年来,基于CodEx(Safavi和Koutra,2020)与interwiki(Cao等人,2021)两个数据集的研究者们为OWA框架下的三级分类问题提供了必要的评估数据集。此外,Safavi等人(2020)研究探讨了OWL框架下知识图嵌结构的有效性,尽管这些工作在一定程度上涉及OWL框架的应用,但它们仅将其作为辅助实验设置之一使用。本文首先进行了系统性的对比实验,全面分析了基于CWA与OWL两种框架下的模型性能差异情况:我们发现,CWA指标无法充分反映KGC模型的实际性能水平;这一发现尤其在基于预训练语言模型的知识图谱构建任务中表现得更为明显

2.2 KGC Models

KGE方法被视为知识图谱早期研究的核心技术之一。这些方法主要可分为三大类:(1)基于双语空间翻译的操作(Bordes等, 2013;Sun等, 2019);(2)基于张量分解的空间建模(Balazevic等, 2019;Nickel等, 2016);以及(3)非线性嵌入策略(Dettmers等, 2018;Nguyen等人, 2017)。值得注意的是，在此基础上还有一些变体会整合其他信息资源:一方面通过文本数据提升表示能力(Xie等, 2016;Veira等人, 2019)，另一方面则聚焦于属性信息的学习与应用(Lin等人, 2016)。

不局限于KGE模型之外，在现有研究中还存在其他基于PLM的知识获取方法。这些方法旨在利用PLM的知识资源来进行深入探索与应用研究。本文将对这些方法进行详细介绍。

PLM-based KGC models

基于预训练语言模型（PLM）构建的知识图谱生成系统（KGC）通过微调PLM使其适应特定任务。 KG-BERT（Yao等, 2019）是首个将PLM应用于知识图谱生成任务的系统。 KG-BERT主要采用三元组形式将实体与关系连接起来作为输入数据。 Kim等(2020)在此基础上提出了一种多任务学习框架, Talukdar等(2021)则发展出零样本学习方法. 相比之下, 本文提出的体系相较于现有方法的优势在于能够更加灵活地融合潜在语义信息与组织化知识结构, 其显著性特征在于无需仅简单地将标签拼接成三元组作为输入, 而能有效提升模型性能

Prompt-based knowledge probing models

知识探测模型基于提示的目的在于识别隐含于PLM中的知识总量。因此，在KGC任务中并未对PLM施以微调。LAMA（Petroni et al., 2019）是首个基于提示的知识探测框架，在将三重查询转换为包含[MASK]标记的句子时就已实现了这一目标，并利用[MASK]位置上的输出来预测实体。在此基础上的一些改进型模型（如Shin et al., 2020;钟等, 2021;Liu et al., 2021）引入了自动模板生成与软提示增强技术。这些改进型模型专注于提升知识探测能力而不依赖于已有知识库中的信息。然而，在预测能力上存在局限性——它们大多仅能预判单个令牌对应的实体——这使得这些模型目前尚无法直接应用于KGC系统中。

3.Preliminary

4.Methodology

4.1 Framework

本文阐述了一种以plm为基础构建的新实体关联推理框架PKGC，并通过整合plm中潜在的知识信息与实体间关系数据来进行推理出新的知识内容。

具体来说，则是将每个三元组转化为提示语，并便于在PLMs中应用这些知识内容。如图2所示，则对于任意一个三元组而言，则是我们的模型则将其转化为对应的提示语

和支持提示

不同数据集生成的样本被输入到预训练语言模型中。在形式上, PLM的最终输入文本T可以表示为

在语言模型中[CLS]的输出被用于预测给定三元组的标签。另一方面，在我们所设计的语言模型架构中将正样本与负样本结合输入至网络结构中执行三重分类任务，并采用交叉熵损失作为优化目标函数。通过这一策略设计，在这种架构下我们所构建的语言模型得以充分挖掘并利用知识图谱中的结构信息

在接下来的章节中, 本节将详细阐述三重提示符的设计策略（第4.2节）以及支持符号的设计流程（第4.3节）。同时, 在第4.4节中我们将介绍模型训练的具体方法

4.2 Triple Prompts

在LAMA研究（Petroni et al. ， 2019）的研究成果指导下，在PLM模型中提取隐性知识的过程中

。在图2中，

表示“Lebron James plays for Lakers.”。

为了使三元组提示更具表现力，受Han等人(2021)的启发，我们还在

中添加了一些软提示，形成最终的三元组提示

。形式上，我们有一个软提示的向量查找表

其中n代表所有软提示的数量，在该模型架构中d表示与该语言模型相关的词向量维度。如图3所示，在该结构中通过模板和实体标签将三个三元组提示划分为六个具体位置，在这些位置上分别插入相应的软提示信息。从而在这些位置上分别插入相应的软提示信息。每个指定的位置处可插入的软提示数量分别为n₁, n₂, …, n₆。

。对于三元组提示符中的第k个软提示符

，在输入语言模型时，将其对应的词向量替换为P中的一个向量，即

，其中idx(r)为关系r的排序指标，即

在关系r作用下，在P中的第k号向量代表了相应的三元组和硬模板的语义映射。随着训练的持续进行，在线更新后的向量查找表P能够逐步优化并更好地表示这些语义信息。

在图3所示的三元组提示中插入软提示的示例。其中，在硬模板中使用的单词被称为Template。我们最多可以在六个位置(下划线)插入多个软提示符号，并将这些软提示的数量总和控制为n个 soft tokens.

4.3 Support Prompts

除了知识图本体所具有的三重信息外（Veira等的研究人员, 2019;Lin等人, 2016），还包含了许多辅助信息能够帮助知识图实现目标。这些辅助信息中包含了如定义与属性等关键要素。在传统的知识图嵌入模型设计中（Veira等人, 2019;Lin et al., 2016），为了引入不同类型的额外辅助信息通常都需要通过调整模型架构来实现这一目标。然而这种方法不仅带来了显著的额外计算开销而且也难以实现多种类型辅助信息的有效整合

基于语言的通用性，在不改变模型结构的情况下（without altering the model architecture），相对而言较为容易地在模型中引入各种形式的支持信息（supportive information）

值得注意的是，在本研究中我们假设模型无需提供所有相关信息；如果相关的信息不存在，则无需添加相关信息；此外，在这种情况下该模型仍能有效支持多种其他类型的辅助信息；具体实现时可依据需求进行相应设置；参考表1可获得更多信息