Advertisement

KG-BERT: BERT for Knowledge Graph Completion

阅读量：

研究内容

第一篇使用预训练语言模型做知识图谱补全的论文

背景动机

  • 大部分知识图谱补全方法主要依赖于结构信息 alone,从而受到知识图谱自身稀疏性的影响。
  • 已有的基于语言模型的方法单独地表达了实体和关系的概念,而没有考虑到这些概念在三元组中的上下文关联。
  • 已有的基于语言模型的方法主要依赖于知识库中的语料,数量过少导致语义信息不足以支撑有效的推理与应用。

模型方法

将三个要素名称与描述整合成完整的一句话，并将其送入BERT系统中进行处理以生成对应的整体表示；随后利用该整体表示完成对三元组分类任务或关系预测运算进而调整BERT模型参数以增强其处理此类问题的能力。

在这里插入图片描述
在这里插入图片描述

实验结果

一个比较有意思的实验是，在较小的训练集比重下，也能得到很好的结果

在这里插入图片描述

全部评论 (0)

还没有任何评论哟~

相关文章推荐

KG-BERT: BERT for Knowledge Graph Completion

研究内容 第一篇使用预训练语言模型做知识图谱补全的论文 背景动机 大多数知识图谱补全方法只使用到了结构信息，这会受到知识图谱的稀疏性的制约 已有的引入语言模型的方法独立地表示实体和关系的描述，忽略了它...

KG-BERT for Knowledge Graph Completion 笔记

Abstract 1、采用预训练的语言模型BERT来补全知识图谱 2、将知识图谱中的三元组视为文本序列，并提出新框架KGBERT 3、方法：用三元组的实体描述和关系描述作为输入，利用KGBERT语言模...

GNN in KG(六) Few-Shot Knowledge Graph Completion

本文针对知识图谱补全的小样本学习问题，提出了fewshotrelationlearningmodelFSRL。 目录 fewshort 数据增强或正则化 Metalearning（元学习） 小样本其他...

Exploring Large Language Models for Knowledge Graph Completion

文章目录 题目 摘要 简介 相关工作 方法 实验 结论 局限性 例子 题目 探索用于知识图谱补全的大型语言模型 论文地址：https://arxiv.org/abs/2308.13916 项目地址：h...

Towards Semantically Enriched Embeddings for Knowledge Graph Completion

文章目录 题目 摘要 简介 相关工作 使用嵌入的知识图谱补全 用于知识图谱完成的大型语言模型 面向知识图谱嵌入中的语义捕获 使用嵌入进行知识图谱补全的现有评估设置 结论和建议 题目 面向知识图谱补全的...

阅读分享：Enriching BERT with Knowledge Graph Embeddings for Document Classification

EnrichingBERTwithKnowledgeGraphEmbeddingsforDocumentClassification https://github.com/malteos/pytorc...

Weighted Aggregator for the Open-World Knowledge Graph Completion

摘要 开放世界知识图补全旨在通过实体描述找到一组缺失的三元组，其中实体可以在图内也可以在图外。然而，现有的大多数模型在将实体描述的词嵌入矩阵聚合为单个嵌入时，要么使用CNN和LSTM使模型复杂而无效，...

Learning Entity and Relation Embeddings for Knowledge Graph Completion

我们这样来训练embeddings，首先把实体空间映射到对应的关系空间，然后在已经映射的实体间建立翻译。 实验中，我们通过这样的任务评估模型，link预测，三元组分类，关系事实抽取。 知识图谱补全的目...

LLM-based Multi-Level Knowledge Generation for Few-shot Knowledge Graph Completion

文章目录 题目 摘要 引言 相关工作 预备 框架 实验 结论 题目 基于LLM的少镜头知识图补全的多层次知识生成 论文地址：https://www.ijcai.org/proceedings/2024...

KICGPT: Large Language Model with Knowledge in Context for Knowledge Graph Completion

文章目录 题目 摘要 简介 相关工作 方法 实验 结论 附录 题目 KICGPT:用于知识图完成的带上下文知识的大型语言模型 论文地址：https://aclanthology.org/2023.fi...