《Do Pre-trained Models Benefit Knowledge Graph Completion? A Reliable Evaluation and a Reasonable A》

The study investigates whether pre-trained models can effectively enhance the completion of knowledge graphs. Through rigorous evaluation, it demonstrates that such models offer substantial improvements in efficiency. The research also proposes a novel methodology tailored to address the challenges inherent in knowledge graph construction.

文章目录

• • 文章介绍
  • 现有局限
  • 文章方法
  • • 三元组提示
    • 支持提示
    • 一个新的评估标准 CR@1

文章介绍

最近，预训练语言模型被广泛用于知识图谱任务当中，但是这些模型却并没有取得SOTA的结果。这篇文章的作者发现导致上述情况的原因一共有两个，（1）错误发评估方式。目前关于知识图谱三元组完整性的判断大多集中于封闭世界假设（closed world assumption，CWA），从而低估了题PLM为代表的KGC模型，因为它们融合了更多的外部知识。（2）PLM的使用不当。现在基于PLM的模型只是简单将实体和关系拼接以后直接输入到模型当中，而这会导致句子不连贯，无法充分利用PLM中的隐含知识。为了解决上述问题，作者设计了开放世界假设（open-world assumption，OWA）下的更准确的评估方式，并通过人工的方式手动检查已有知识图以外的三元组的正确性，此外，在引入了提示学习（prompt learning）基础上提出了PKGC模型。其基本思想为见每个三元组及其支持信息转化为自然语言提示句，再输入到PLM模型中分类。实验证明PKGC在CWA和OWA上均有良好的表现。

现有局限

如上图所示，在基于封闭世界假设的情况下（即系统默认所有实体都已知），许多原本应被视为正确的关系项因未能包含在原始知识库中而被误判为负面实例（false negatives）；这会导致预训练语言模型之前 already benefit from extensive external knowledge 的优势无法得到充分发挥。

文章方法

三元组提示

如上图所示，在该研究者提供的数据集中包含两种类型的信息源即PT与PS两类数据特征。针对PT这一部分研究者依据不同关系制定了特定模板例如"plays for"从而生成相应的句子以增强其表达能力同时在生成过程中还增加了若干软提示以优化结果质量

如上图所示，在一个句子中有六个可插入的部分，在此过程中作者预先为每个关系设定了一系列软性提示参数，并在此基础上进行了操作。具体而言，在此过程中作者预先为每个关系设定了一系列软性提示参数，并在此基础上进行了操作

支持提示

除此外,还包含丰富的外部知识信息来辅助实现或完成三元组完整性预测任务。例如涉及的概念及其属性等信息可被纳入模型构建过程中的考量.

详细的操作流程类似于上方展示的模型架构直接拼接到三元组输入的位置

一个新的评估标准 CR@1

基于开放世界假设，在现有知识图谱中存在与之对应的三元组可能不是错误的；同时，在人工标注所有预测出来的实体时也面临较大挑战。因此，在测试集中选取一些特定的三元组，并将预测出排名最高的实体作为缺失实体的补充。接着对这些补全后的三元组进行验证评估。最终采用CR@1作为评价指标。