Advertisement

Multi-Task Learning for Knowledge Graph Completion with Pre-trained Language Models

阅读量：

研究问题

以多任务形式训练KGBERT

背景动机

KGBERT在MRR和Hit@k上效果不好，论文认为是由以下两个因素导致的：

KGBERT基于triplet-based classification任务进行预训练模型的微调，并受限于这种特定的分类任务，在某种程度上限制了其对关系信息的充分利用

模型方法

引入关系预测和相关性排序这两个新任务

在这里插入图片描述

链路预测（三元组分类）

针对三元组(h,r,t)的操作方法是整合其名称与描述信息的具体实施方式，请看下述实例：以(plant tissue, hypernym, plant structure)为例，则整合为特定格式的具体步骤如下

在这里插入图片描述

我们定义了变量C为通过[CLS]标记对应的隐层向量表达；其中矩阵W_{L P} \in \mathbb{R}^{2 \times H}被设定为分类权重矩阵；同时设训练集为集合S和其负样本采样集合S'；则整个系统的损失函数的具体表达式如下

在这里插入图片描述

关系预测

实际上，在此之前就已经可以看出，这篇文章并非仅限于多任务预测的应用。由于各个任务的输入形式存在差异，这里的输入即为。

在这里插入图片描述

令W_{R P} \in \mathbb{R}^{R \times H}为分类权重，损失函数如下

在这里插入图片描述

相关度排序

其实就是拉开正样本和负样本的分差，增强模型的判别能力

令W_{R R} \in \mathbb{R}^{1 \times H}为打分权重，损失函数如下

在这里插入图片描述

实验细节

BERT-base+3 epoch fine-tune

做链路预测时还是要把h+r+t作为输入并打分

在这里插入图片描述

全部评论 (0)

还没有任何评论哟~

相关文章推荐

Multi-Task Learning for Knowledge Graph Completion with Pre-trained Language Models

研究问题 以多任务形式训练KGBERT 背景动机 KGBERT在MRR和Hit@k上效果不好，论文认为是由以下两个因素导致的： KGBERT以三元组分类的任务微调预训练模型，这就无法充分利用关系的信息...

Text-Augmented Open Knowledge Graph Completion viaPre-Trained Language Models

摘要 开放知识图谱KG完成的任务是从已知的事实中得出新的发现。增加KG完成度的现有工作需要1事实三元组来扩大图推理空间，或2手动设计提示从预训练的语言模型PLM中提取知识，表现出有限的性能，需要专家付...

Knowledge graph extension with a pre-trained language model via unified learning method

摘要 知识图KGs是由三元组的结构化形式表示的现实世界知识的集合。由于它们是在初始阶段手工构建的，因此存在一个常见的问题，即缺少一些链接三元组。知识图谱补全Knowledgegraphcompleti...

Exploring Large Language Models for Knowledge Graph Completion

文章目录 题目 摘要 简介 相关工作 方法 实验 结论 局限性 例子 题目 探索用于知识图谱补全的大型语言模型 论文地址：https://arxiv.org/abs/2308.13916 项目地址：h...

Black-box Prompt Learning for Pre-trained Language Models

论文链接https://arxiv.org/pdf/2201.08531.pdf Abstract 近年来，针对大型预训练模型的特定领域微调策略受到了广泛关注。在之前研究的设置中，模型架构和参数是可调...

Large-Scale Relation Learning for Question Answering over Knowledge Bases with Pre-trained Language

题目 使用预训练语言模型进行知识库问答的大规模关系学习 论文地址：https://aclanthology.org/2021.emnlpmain.296/ 项目代码：https://github.co...

Relations Prediction for Knowledge Graph Completion using Large Language Models

文章目录 题目 摘要 简介 相关工作 方法论 实验 结论 局限性 未来工作 题目 使用大型语言模型进行知识图谱补全的关系预测 论文地址：https://arxiv.org/pdf/2405.02738...

Do Pre-trained Models Benefit Knowledge Graph Completion?A Reliable Evaluation and a Reasonable App

摘要 近年来，预训练语言模型PLMs已被证明可以从大量文本中捕获事实知识，这鼓励了基于plm的知识图完成KGC模型的提出。然而，这些模型在性能方面仍然远远落后于SOTAKGC模型。在本工作中，我们发现...

《Do Pre-trained Models Benefit Knowledge Graph Completion? A Reliable Evaluation and a Reasonable A》

文章标题：《DoPretrainedModelsBenefitKnowledgeGraphCompletion? AReliableEvaluationandaReasonableApproach》A...

LambdaKG: A Library for Pre-trained Language Model-Based Knowledge Graph Embeddings

摘要 知识图通常有两个特点:异构的图结构和文本丰富的实体/关系信息。基于文本的KG嵌入可以通过使用预训练的语言模型编码描述来表示实体，但目前还没有专门为带有plm的KG设计的开源库。