ICML 2023|《INGRAM: Inductive Knowledge Graph Embedding via Relation Graphs》论文细读+理解笔记

模型名称INGRAM

代码：[GitHub - bdi-lab/IndriGraph: IndriGraph](https://github.com/bdi-lab/IndriGraph "GitHub - bdi-lab/IndriGraph: IndriGraph)

Abstract：This paper introduces a novel approach to inductive knowledge graph embedding through the analysis of relation graphs. The method leverages advanced techniques in inductive representation learning to model complex relationships within large-scale knowledge graphs. By focusing on relation graphs, we achieve robust and scalable embeddings that can be effectively applied to various downstream tasks.

Our experiments conducted on multiple benchmark datasets demonstrate the superior performance of our approach compared to existing methods. The results highlight the effectiveness of leveraging relation graphs in inductive knowledge graph embedding.

Reference：(ICML, 2023)

注：实在懒得费时费力去敲键盘输入文字的地方实在太多了有些地方直接用电子设备如PPT和OneNote来制作插图不过很多插图其实可以直接复制粘贴自PPT或OneNote文档

摘要

归纳知识图谱补全被定义为一种任务，在训练过程中预测未观察到的新实体之间的缺失三元组关系。尽管大多数现有的归纳知识图谱补全方法假设所有实体都可以被视为新实体，并且允许在推理阶段引入新关系；但它们限制了推理阶段引入新关系的可能性。这一限制使得现有方法难以适应现实世界中动态变化的知识图谱，在其中新实体伴随着新增的关系和连接。为了克服这一局限性，在本文中我们提出了一种称为INGRAM的新归纳知识图谱嵌入方法。该方法能够在推理阶段生成新实体和新关系的嵌入表示。给定一个知识图谱结构，在其基础上构建了一个由节点及其权重组成的加权关系网络拓扑结构；通过该网络拓扑与原始知识图谱进行联合学习，并利用注意力机制聚合局部嵌入以生成全局表示向量；最终获得的关系嵌入向量不仅能够捕捉到复杂的语义关联性信息而且还能有效建模多模态语义特征之间的相互作用关系；实验结果表明，在多个归纳学习基准测试中显著超越了现有的14种最先进的方法。

一、研究现状和目的

对实体，归纳推理

对关系，传导推理

目的：归纳知识图谱嵌入---------->知识图谱补全

二、相关知识

1、关系图： 包含若干关系及其间的亲和权重所形成的加权网络结构。（一种形式上定义为节点代表实体、边代表实体间的关系并附加有权重以表征关联程度）

2、关系间的亲和权值： 用于量化两个实体（节点）之间关系强度的数值。

3. 加权图的概念： 具有权重标记（weight）的边连接构成的图形，在该框架下形成的网络中既可呈现非定向连接也可体现定向连接特性；其中节点间的关联程度可通过赋予各条边特定数值属性来表征其关联程度；这种图形的形式既可以是非定向的也可以是有向的；在实际应用中这种网络模型能够有效描述多维度关系网络；其重要性体现在资源分配效率最大化方面；通过赋予不同数值指标能够定量分析节点间联系强度及其影响范围等多方面的特性

4、注意力机制：

5、嵌入： 将知识图谱中的节点（实体）与边（关系）进行编码映射至低维向量空间中；其主要功能是捕获实体及其间的关系所蕴含的深层语义信息；从而使得复杂的图结构在操作与分析方面更加高效与直观。

6、聚合： 在聚合阶段中,对于每一个节点u,在其邻接空间中计算其表示时会基于其邻居节点v的表示及其对应的注意力权重α_uv进行加权求和运算.

7、嵌入对知识图谱补全的作用：

知识图谱嵌入技术通过将数据实体及其关联信息映射到低维向量空间中进行处理后，在提取其语义与结构特征的基础上实现了模型对知识图谱补全任务的支持，并且其提取出的向量表示使该任务得以高效完成

• 语义相关性 ：类似的抽象概念（例如两种性质相近的药物）会被映射到接近的向量空间中。
  • 关系关联性 ：具体关联类型（如"治疗"关系）会对应确定性的向量转换规则。

在嵌入空间内，通过包括向量加法、向量乘法等在内的各种向量运算能够有效地表达并操作实体与关系。这些基础的向量运算能够迅速推导出潜在的关系与实体，并有效地完成知识图谱的填充过程。

8、传导推理： 基于给定的具体数据集执行推理与预测任务。该方法并不寻求从训练样本中提取一个通用适用的模型，而是专注于处理训练样本与测试样本中的具体实例。假设知识图谱在训练过程中已经记录了所有出现的实体及其关联关系。

9、半归纳推理： 半归纳推理处于传导性推断与归纳性推断之间，在模型训练及推断过程中，在一定程度上利用测试数据信息，并具有一定的泛化能力。半归纳推理通过融合这两种方法的优点，在特定应用场景中展现出良好的适用性。

10、归纳推理： 归纳推理的概念是基于现有样本建立通用预测机制。该方法通过分析已有数据样本特性来推导出适用于更大范围的数据模式。其核心特征是仅基于提供的样本进行参数估计，在未知测试样例的情况下仍能实现准确预测。无需依赖外部验证集信息以避免过拟合风险。

三、核心思想——关系图

关系图中，一个节点就是一个关系，边权值表示关系之间的亲和力。

定义为一种加权图的一种形式，在这种模型中每个节点代表一种特定的关系类型。每条边的权重则反映了两节点间的关系程度。为了避免复杂性，在构建模型时未包含这些非必要的信息。

本文通过评估两个关系间共同拥有的实体数量以及共同拥有实体的比例来度量两个关系之间的亲和性

以下为亲和性计算方法：

四、模型概述

模型步骤流程：

1、定义关系图

2、利用注意力机制，根据相邻节点的重要性权重聚合嵌入向量

3、通过实体级别的聚合来表示实体

4、关系-实体交互的建模，进行聚合后的优化训练，提高可信度评分

五、模型详解

（一）定义关系图

具体定义和计算亲和度过程如“核心思想”所示

在定义好关系图后, 我们便能够对每个关联式进行相应的设置. 基于给定的关系图及其原始知识图谱, 通过基于注意力机制的方式, 计算各实体及其关联式的嵌入向量. 这种计算过程涉及对邻居节点的重要性进行加权求和, 重要性权重由注意力机制计算得出, 它们反映了各个邻居节点对目标节点的影响程度. 为了提高模型性能, 这一聚合过程经过优化处理, 目标是使训练集中的三元组获得尽可能高的可信度评分. 而INGRAM模型正是通过这一系列优化步骤来学习如何将邻居节点的信息转化为各实体与关联式的嵌入表示. 在推理环节, 我们会依据更新后的推理知识图谱以及训练阶段所建立的关注权重矩阵, 对新增的关系式进行建模与求解. 这样一来, 就能够生成新的实体及关联式的嵌入向量表达.

（二）通过基于关系图的聚合来更新关系表示向量

基于注意力机制，在分析相邻节点的重要性系数后融合嵌入向量。本文提出的方法是通过对自身及其相邻关系的表现形式进行整合与优化来重新构建各个关系的表现形式。

基于知识图谱构建了关系图A后,我们可以使用A来确定每个节点及其邻接节点之间的关联信息.本文提出了一种方法用于整合自身节点与邻接节点的特征向量以更新各节点的关系表示.详细说明了前向传播的过程:

因为是关系图，所以节点z是关系表示向量。

其中的注意力值定义为：

用于加权邻居节点 𝑗对节点 𝑖的影响。

分子：节点i和邻居节点j的加权注意力分数

分母：节点i和所有邻居节点的加权注意力分数之和

（三）通过实体级别的聚合来表示实体

为此，在实现实体注意力权重的自循环机制时，请计算与实体相邻的关系表示向量并取其平均值。

z被定义为实体对其自身聚合表示的一种嵌入形式，在其分子部分对应于关系rk所对应的嵌入向量，在分母中则由所有邻居节点vj到实体i的关系系数之和构成；通过将每个关系表示平均化处理后再进行归一化操作以确保整体的一致性

然后通过以下方式更新实体表示向量：

上式中，前面自循环项，后面邻居节点聚合项。

其中，注意力系数定义为：

注意力系数：βii代表了节点自身的特征向量,P为加权矩阵,y则为另一组权重向量,分子计算了节点自身注意力评分,分母则包含了该节点自身评分与其所有邻居节点评分之和,βijk以此类推。

（四）关系-实体交互的建模

为了旨在模仿关系和实体嵌入之间的交互作用这一目标，在本文中我们采用了DistMult的一种变体，并通过如下机制来定义评分函数。

权重矩阵W被用于计算出一个加权后的新型关系向量

DistMult 是一种用于知识图谱嵌入的模型f(h,r,t)=h^\top diag(r)t具有高效的性能，在处理复杂的关系网络方面展现出显著的优势。该模型旨在通过矩阵运算来实现实体与关系间的相互表示，并能有效捕捉不同实体间的关联性。其核心机制在于通过矩阵乘法运算来模拟实体与关系之间的相互作用机制

基于边际的排序损失定义为：

该公式的作用是通过最小化损失函数来实现对正三元组与负三元组的区分度最大化。具体而言，在优化过程中要求模型使得到达训练集时被正确分类的样本之间的相似度（即相似程度）大于未被正确分类样本之间的相似度（即不相似程度）。当这种差距达到预期阈值时（即差距至少为r），则系统认为当前的学习任务已经完成得足够好；反之，在差距未能达到预期水平时（即差距小于r），系统将进入反馈机制并重新优化权重矩阵以及嵌入表示模型以进一步提高对同类样本判别能力。

六、实验

（一）数据集

基于三个基准(NELL995, Wikidata68K, FB15K237)生成了十二个数据集。对于每一个基准而言，在修改其包含的新三元组比例时会生成四个不同的数据版本：分别对应于100%、75%、50%和25%的比例。

（二）实验结果

MR（↓）、MRR（↑）、Hit@10（↑）和Hit@1（↑）。

该表格汇总了12个不同数据集的结果情况，并列出了各数据集所包含的独特实体数量及各自对应的新关系比例。研究发现，在其各自具有不同新关系比例的12个数据集中（尤其关注于新关系占比较高的场景），该方法在归纳链接预测任务中显著优于现有14种知识图谱填充方案。

RMPI与INGRAM的区别在于其研究重点及解决问题的方法论差异。Geng et al.（2023）通过深入探讨新关系处理机制，在理论框架上进行了系统性分析。尽管RMPI与INGRAM均致力于解决相关问题，但两者的具体方法论呈现出显著差异。

RMPI为每个候选实体抽取一个局部子图以对相应的三元组进行打分 而INGRAM则直接基于给定知识图的全局架构

RMPI对每一个单独的三元组应用无权重的关系视图；而INGRAM则构建了一个全局关系图，并特别关注权重因素

3、INGER rans表现出更高的可扩展性和更好的有效性。具体而言，在NL-100数据集上完成处理所需的时间仅为15分钟，在此数据集上的应用效率显著优于RMPI的52小时。

4、RMPI专为知识图谱补全任务而构建，在不进行嵌入向量计算的情况下。GRAM则返回与实体及其关联关系相关的嵌入表示。这些表示同样适用于多种其他下游应用任务。

研究NL-50数据集上具有明确与新兴关联的所有三元组模型性能时发现

尽管INGRAM旨在考虑推理过程中可能出现的新关系情况，在本文中我们还针对传统的归纳链接预测场景进行了实验研究。在此场景下，默认情况下所有的关系均为已知 entity且所有的实体均为新 entity。表3展示了针对NL-0与NELL-995-v1数据集上的归因链路预测结果（即 Inductive Link Prediction Task），其中所有的实体均为新 entity而所有的关系均为已知 entity。结果显示，在各项指标上均优于其他基准模型（Baseline）。然而，在归因推理方面_INGRAM并未像其他基准模型那样专门学习特定的关系模板但在处理半归因与完全归因推断任务方面仍展现出良好的性能并具备一定的概括能力

七、创新点

构建关系图模型时，默认各实体间的关系会被自动抽象为独立的节点；随后通过向量空间模型对这些节点进行嵌入学习；接着通过注意力机制对各节点表示进行融合；整个过程构思非常巧妙。

八、模型不足

实体嵌入和关系嵌入排列敏感

为增强模型的表达能力，本系统采用glorot初始化策略，在每个epoch阶段随机重置各节点及关系类型输入嵌入参数。这种随机化处理成功消除了生成表示对节点和关系类型索引排列的双重等变性，并使它们对于节点与关系类型索引顺序的变化具有敏感性。