2024 ICLR Towards Foundation Models for Knowledge Graph Reasoning 知识图谱、完全归纳推理
发布时间
阅读量：
阅读量
文章链接
原文：Towards Foundation Models for Knowledge Graph Reasoning (arxiv.org)
代码：GitHub - DeepGraphLearning/ULTRA: A foundation model for knowledge graph reasoning
一、动机与贡献
知识图谱难以像语言模型通过预训练和微调适用于大多场景，主要是不同知识图谱实体和关系不同，而语言模型的词语是通用的。目前的归纳预测能在关系相同的知识图谱通用，文章动机是使归纳预测能用于关系和实体都不同的知识图谱。
二、方法
当前的归纳学习在相同关系，不同实体间的图谱可以通用。如果找到不同关系间共同的相互作用，将原本的关系作为实体，将这种相互作用作为关系，构成的关系作用图，就可通过学习稳定的关系作用表示来表达不同知识图谱中不同的关系。
文章观察到两个通过同一实体相连的关系间有4种稳定作用：h2h ，h2t，t2h，t2t ，h和t代表着实体在这两个关系中分别是头实体还是尾实体。
分三步骤
根据原本知识图谱获取关系作用图
在关系作用图上通过4种固定的作用按照NBFnet的方式构建出各个关系的表示，这里的初始化是查询中的关系和具体一个关系对比
每一个关系相对于查询关系的表示是通过四种基础关系聚合出来
再回到原始知识图谱上，进行实体级别的预测
根据关系的相对表示聚合出实体的相对表示
最后损失
同样是正例尽可能高得分，负例低得分
三、实验结果
零样本和微调Ultra per-dataset性能与在每个数据集上从头开始训练模型的比较（Train e2e）。单个预训练模型的零样本性能与从头开始训练相当，而微调产生整体最佳结果。
END
全部评论 (0)
还没有任何评论哟~