论文阅读：图神经网络应用于知识图谱推理的研究综述

论文链接：图神经网络应用于知识图谱推理的研究综述

一、知识推理研究进展

基于节点与边的图形化架构存储

（2）知识推理：基于现有知识体系的知识推演过程中，在已构建的知识框架下分析研究者们可依据实体与关系所蕴含的信任度利用相应的推理机制完成对缺少的核心实体信息及缺乏关键的关系描述的任务实现

实体预测任务：基于已有的事实关系网络及某个特定的实体信息，在此基础上推导出关联的另一个实体，并从而形成完整的三元组关系模式。

关系预测：推理给定的头尾实体之间的关系。

（3）知识推理从结构上分为局部任务和全局任务。

局部任务：节点分类、链接预测、知识补全......

全局任务：子图匹配、子图分类、图趋势预测......

（4）知识推理方法

1.基于逻辑规则的推理

基本思想： 参考传统知识推理中的规则推理方法，在知识图谱框架下基于基础规则以及统计数据实现推理过程。

2.基于表示学习的推理

基本思想： 构建一种映射函数, 将语义网络中的实体, 关系以及属性转换为低维实值向量空间, 以便获得这些元素的分布式表示, 并最终捕捉它们之间的潜在联系.

3.基于神经网络的推理

基本思想： 基于前述提到的表示学习方法, 通过结合多层非线性变换, 进一步提取其深层特征, 从而实现知识推理。

4.基于图神经网络的推理

基本思想： 采用图卷积机制对相邻节点的信息进行融合（一方面考虑节点间的语义关联关系、另一方面则关注其在图结构中的位置关系），从而生成各节点的表征用于推理过程。

二、基于图神经网络的知识推理研究

（1）图神经网络模型

输入层： 将图形结构和节点内容信息作为输入。

图卷积层： 通过聚合相邻节点的特征信息得到每个节点的隐藏表示。

激活函数层： 通过激活函数层进行非线性交换，得到新的图的表示。

输出层级： 经过多轮图卷积操作与激活函数单元的协同作用后, 每个节点的特征表示将被选作最终输出返回.

训练框架： 在一个基于端到端学习框架内的方法中可以通过（半）监督或无监督的方式进行训练 具体采用哪种方式进行训练将取决于所涉及的学习任务以及可获得的标签信息.

执行任务： 知识推理的节点分类、节点标签预测等节点级任务。

（2）基于图神经网络的KR模型（边级任务）

输出层： 将GNN中两个节点的隐藏表示作为输出。

执行任务： 能够应用相似度指标或神经网络模型来估计边标签及其连接强度等参数，并实施边分类与链接预测的相关任务。

（3）基于图神经网络的知识推理模型（全局任务）

通过在模型中加入多层感知器和softmax层。

执行任务： 可处理图分类、子图匹配、图趋势预测等知识推理全局任务。

2.1基于递归图神经网络RecGNN的知识推理

RecGNN是图神经网络的先驱。

RecGNN模型阐述：每个节点通过其属性或标签特征与邻居节点共同表征（如图4）。该模型采用局部变换函数来刻画顶点n与其邻域顶点之间的依赖关系，并通过局部输出函数生成输出值的过程。

其中，

分别用来表示顶点n的相关属性、其关联边的相关属性以及与之相关的所有邻居节点的状态及其相关属性。由此可知, 每个节点n的状态

，该状态

包含节点n的邻域所包含的信息。

RecGNN目标： 训练递归神经架构以生成节点嵌入（或表示），通过逐步传递邻域的信息直至模型收敛到稳定状态（或达到平衡点），从而获得各节点的最终嵌入表示。

（1）GNN：**Scarselli等人指出其方法能够处理涵盖有向图、无向图以及具有循环或无循环结构的现实世界中的各种问题。**其成功地将抽象的数据点映射至几何空间，并支持一系列关键应用领域：包括子graph匹配用于模式识别，在分子药物设计中用于化合物诱变活性分析，在信息组织方面则应用在网页排序任务。**其中一项创新在于将其首次应用于解决复杂推理问题中的关键环节——子graph匹配。**其实验结果表明，在面对结构化数据时，GNN展现出卓越的表现——即通过有效的模型构建实现对复杂关系的学习与推理能力显著提升。然而，在实际应用中仍面临计算资源消耗过大以及算法收敛速度较慢等问题。

（2）GGNN（gated graph neural network）：

（3）SSE：

综上所述

2.2基于卷积图神经网络ConvGNN的知识推理

该类图卷积网络在空间域直接完成对节点邻接体的聚合运算，并能有效捕捉复杂网络中的拓扑结构特征。特别适用于分析具有明确方向性的连接关系以及大规模复杂网络。由此可见，在知识推理领域中仍主要采用基于传统空间域模型的方法。

相较于RecGNN而言，在空间建模方面ConvGNN采用了不同的方法论。具体而言，在经过多层卷积操作后生成高阶节点表示，并最终利用这些生成的特征来进行节点分类、链接预测以及图分类等多种任务。

第一代卷积图神经网络： Henaff等研究者通过采用局部连接的方式减少可学习参数的数量，并成功地将卷积神经网络应用于大规模的图数据分类问题。

第二代卷积神经网络架构： 该团队提出了一种基于快速局部图卷积滤波器的设计方法，在保证性能的同时显著减少了计算复杂度和学习复杂度，并且该方法适用于所有类型的图数据结构。

第三代卷积图神经网络： 基于Chebyshev多项式拟合的GCN设计能够有效提取图数据中的局部特征并实现有效的表示能力，在处理半监督学习问题方面展现出良好的性能。参考文献5中的(a)部分展示了多层卷积架构在半监督分类任务中的应用框架，在该模型中输入通道数设定为 C ，输出节点数设定为 F 个特征维度。其中所展示的图形结构采用黑色线条表示边连接关系，并且该架构在各计算层次中实现了参数的有效共享机制；此外，在模型训练过程中各类别标签信息会被系统性地应用到各计算层级中以促进分类任务的学习过程完成

图5（b）展示了两层GCN在Cora数据集上经过训练后的隐藏层激活的可视化结果。卷积图神经网络的工作原理可用数学公式描述。

其中，

为图G的带自环邻接矩阵；

为单位矩阵；

为可训练权重向量；

为激活函数；

为第

层的激活矩阵，

。

核心思想： 构建一个函数关系来实现节点表示的学习过程，在该关系中基于该图中的各个节点能够整合自身信息、邻近节点信息以及网络拓扑结构信息以生成特征向量。ConvGNN作为一种基础架构，在构建众多复杂GNN模型时发挥着关键作用。

2.2.1基于空间域的卷积图神经网络

基于空间域的ConvGNN所进行的知识推理中,通过以无向图的形式构建知识图谱,利用ConvGNN对拓扑结构进行分析,从而实现了邻域信息向中心实体的语义聚合过程

（1）GCN基本思想：

（2）GraphSAGE

R-GCN模型用于从图谱中的实体中提取隐性特征表示，在知识图谱中相当于给每个实体附加属性标签，并将其应用到两个任务上。

针对实体分类任务而言，在借鉴GCN算法的原理基础上（或：基于），我们采用了R-GCN模型，并将图中的每一个节点通过 Softmax 进行分类。

在关系预测任务中，在线性空间中嵌入图数据以捕捉其结构特征，并基于这些特征推断图中各实体之间的关联。

（4）CompGCN：该方法是一种专为复杂多样的有向图设计的图神经网络模型，在学习节点特征的同时也能有效提取各类型关系信息。鉴于此，在面对海量复杂关联数据时传统模型往往面临计算资源受限的问题，在这种情况下我们提出了一种特殊的分解策略通过引入一组基函数及其加权组合的方式显著降低了模型的整体参数规模从而提升了计算效率

（5）SACN：

基于图卷积网络（WGCN）构建的知识图谱（KG）模型中

2.2.2基于图注意力机制的卷积图神经网络

（1）GAT：

其基础架构建立在空间结构之上，在特征信息融合过程中借助注意力机制识别采样节点的重要性权重值；相较于传统的GCN架构，在此过程中额外引入了一个可自适应调节边权系数的概念框架，在此过程中实现了中心节点邻域贡献程度的事后动态平衡配置；另外值得注意的是,GAT架构无需事前明确网络全局架构,便能基于局部信息推断整体拓扑特征

核心方面是GAT替代了GCN中的标准化操作。它通过注意力权重实现了邻居节点特征的有效聚合。

图 8 为利用MGAT算法开展链接预测和节点分类模型框架图。

（2）KBGAT： 该研究团队于2019年开发出一种基于图注意力网络（GAT）的知识图谱关系推理模型KBGAT。该模型通过多头注意力机制从目标节点周围的节点信息中提取特征，并成功解决了难以获取隐含信息的问题。这一改进显著提升了对关系事件的预测能力。

（3）GaAN：

（4）HE-GAN：在图注意力网络上的叠加运算，在复杂关联关系中高效提取多维特征表示，并全面捕捉知识图谱语义的深层结构。

2.3基于图自动编码GAE的知识推理

图自动编码器（GAE）是一种无监督式的学习框架；该模型通过节点或图的特征提取实现潜在向量空间中的表示；基于提取的信息重新构建原始的图数据结构；同时该模型不仅能够有效学习复杂的网络嵌入表示；还能够生成具有特定属性的新图结构。

编码器： 使用图卷积层来获得每个节点的网络嵌入表示。

该模块用于计算给定网络嵌入节点之间的距离。经过非线性激活函数处理后，在重建图邻接矩阵的过程中

GAE基于图论方法捕捉节点间的连接关系，并在生成模型中学习潜在节点表示；其能够捕获节点间的连接关系及其属性特征。

图自动编码网络主要包含两种主要方法：一种是基于网络嵌入的技术；另一种是基于生成模型的方法。 基于网络嵌入的方法通过神经网络结构将顶点映射为低维向量；这种表示能够被用来执行节点分类及关系预测任务；而基于生成模型的方法则是在已知一组实际观察到的图的情况下；能够生成新的、未见过的具有推理能力的新图；这种方法非常适合应用于知识推理中的知识补全问题。

图自编码器的主要问题在于： 由于稀疏邻接矩阵的存在，在解码器中正元素的数量远少于负元素的数量。

解决方案：基于多层感知机作为编码器角色来计算得到节点嵌入信息，并通过解码器部分生成或恢复节点的邻域统计信息

2.3.1基于网络嵌入的图自编码方法

主要目标：通过神经网络架构将图中的各个节点转换为潜在空间中的低维向量表示，并且能够从这些潜在表示中还原出原始图形的信息内容；同时能够实现对节点类型识别以及连接关系预测等功能

2.3.2基于图生成的图自编码方法

定义： 给定一组观察到的图数据，在此基础上利用基于图神经网络的知识表示机制来推导节点间的关系模式，并在此过程中动态地建立相应的模型框架。通过对比分析新旧结构间的差异，并结合给定条件下的潜在属性信息，在知识推理的基础上完成对现有知识体系的补充工作。该过程可具体应用于实体分类、关系预测等 downstream任务中。

（1）GAN：

2.4基于时空图神经网络STGNN的知识推理

通常能够较好地捕获知识图谱中节点之间的连接关系；网络中的空间信息得以保留；但其未能有效捕获时间信息的能力。

时空图神经网络（STGNN） 将传统的卷积图神经网络拓展至时空维度，在建模时考虑空间与时间双重特性。该方法的主要目标在于通过分析时空图挖掘潜在模式，并假设节点未来的状态受自身历史特征及邻域历史特征的影响。

核心思想： 综合考量空间与时间的相关性。在时空图神经网络中，空间上的相关性等同于知识图谱中的拓扑结构信息，在时空中存在的时间维度上体现出的知识演化特征则等价于知识图谱中的时序信息；节点所承载的信息则直接反映了实体属性数据。

时序知识图谱A通过图卷积层执行运算以提取空间相关性（基于图数据的拓扑结构关系），而一维CNN则沿时间轴发展以识别知识的时间关联模式。输出层则通过这种线性变换对每个节点做出预测结果，并特别关注未来时间段内可能的变化趋势。

三、总结与展望

3.1总结

知识图谱推理的本质是对知识图谱中的节点及其关联关系进行预测研究。因此，在处理知识图谱推理问题时，必须提取图数据中的结构特征与节点属性，并据此完成推理过程。

GNN 利用其强大的节点和边特征来建模非欧几里德数据，并进而有效地解决了实际应用中面临的图结构数据分析难题。它能够从知识图谱中提取各节点的信息及其关系，并深入分析整体结构特征。

利用RecGNN进行知识推理 ，该方法通过不断迭代的方式传播邻接节点的信息，并推导出图谱中各节点的最终表征以实现知识推理过程。与传统算法相比，该模型能够综合考量知识图谱中的语义信息与结构特征，在提升可解释性的同时显著增强了推理能力；然而，在每个时间步长都需要对整个图中的所有节点进行展开计算这一特点导致其收敛速度较慢且效率有限。

该知识推理系统采用了基于ConvGNN的方法来进行关联性表征。该模型采用邻居采样技术显著提升了计算效率，并借助于注意力机制设计了一种动态权重分配策略，在大规模知识图谱中有效执行推理任务；然而由于网络架构过于浅层，在泛化能力方面仍存在明显局限

基于图嵌入技术的知识推理框架中

该系统利用STGNN进行知识推理过程，并引入了时间序列特征数据。同时整合了知识图谱的空间结构信息以及时间维度的信息，并可应用于时序知识图谱的推理与分析任务。然而系统的复杂度相对较高，在实际应用中仍需进一步优化以提高效果。