【论文解读|ICDM2019】RSHN - Relation Structure-Aware Heterogeneous Graph Neural Network

文章目录

• 摘要

• 1 引言

• 2 相关工作

• 3 所提方法

• • 3.1
  • 3.2

• 5 结论

论文作者：中国科学院
论文链接：

摘要

具有不同类型节点及边组成的异构图普遍存在于多个领域，在实际应用场景中展现出巨大的价值潜力。目前针对异构图的研究多采用将其分解为多个同构子图的方法进行建模分析。然而，在大规模多关系网络中仅凭不同类型的边所隐含的丰富语义关联就无法达到预期效果。为此提出了一种基于关系结构感知的人工智能神经网络(RSHN)，其通过整合原始图及其概化版本，在无需任何先验知识的前提条件下实现了节点与边在异构网络中的嵌入表示学习过程。为了应对边链接间的异质性问题,RSHN首先构建了一个概化线图神经网络(CL-GNN)，旨在挖掘不同类型边之间基于概化的潜在关联关系特征；随后又利用了传统的异构图神经网络(H-GNN)来提取节点间传播过程中的隐式信息特征，并通过相互促进的方式增强了各节点及其相关联的不同类型边的嵌入表示能力

1 引言

近年来神经网络在非欧几里德域上的显著促进使得对图嵌入的研究深入发展，并已在化学药物发现[1]、知识图嵌入[3]等领域得到广泛应用。特别是在处理结构数据方面取得显著成效[5]、[6]等成果的基础上

• 挑战1：复杂的语义关联:异构图呈现多样化的多类型关系结构 。为了更好地建模与表征大型复杂异构网络中的语义关系特征。
  • 挑战2：节点与边的联合嵌入模型 :其中节点与边在当前研究领域中扮演着核心角色，在许多实际应用场景中展现出显著的研究价值。我们提出了一种新的联合学习框架，在这种框架下能够有效整合节点属性与边特征信息。

近期研究表明，在HAT[9]和RGCN[4]的基础上展开了对基于图神经网络的异构图嵌入技术的深入探讨。这些方法的核心思路在于将复杂异构图分解为若干个同质子图进行分别处理。其中,HAT主要通过元路径[10]提取关键子图,并结合注意力机制实现对异构数据的有效嵌入。然而,针对高度多关系的数据,RGCN方法由于其对元路径高度依赖性和构建复杂元路径的成本较高,在实际应用中并不具备良好的适用性。而针对现有算法的不足之处,本研究提出了一种基于关系结构感知的异构图神经网络(RSHN)框架,该框架特别关注于异构图中多重关联性带来的潜在信息挖掘需求,并旨在通过改进消息传播机制来提升表示学习能力。
该框架由两个主要模块组成:粗线图神经网络(CL-GNN)和细粒度异构图神经网络(H-GNN)两个部分协同工作以实现对节点间关系特征的有效捕捉与传播。
CL-GNN模块侧重于利用关系注意机制处理不同边类型的信息转换问题,从而有效缓解挑战1所带来的表示学习难题;而H-GNN则通过与边特征耦合的方式进一步优化了节点间邻居信息与边特征之间的交互过程,从而实现了对挑战2的有效应对。

借鉴线形图[12]的研究成果，在本研究中每个节点表示一条边（如图2所示），其相邻关系被定义为对应边在原始图中共享共同顶点的情况**（如图2所示）。为了构建粗线图神经网络模型**[6] , 我们采用了边到节点的双重学习方式进行异构信息建模, 这一过程显著降低了传统线形图规模的同时, 仍然能够完整捕捉不同类型边之间的相关性特征。具体而言, 我们通过随机游走策略构建粗线形图以缓解相关问题, 并探索不同边类型之间的潜在关联性**[7] . 在粗线形图中, 每个节点代表一种特定类型的边, 而连接两个节点的权重则反映了两种不同类型的边共存的概率水平. 粗线型网络架构的设计示意图如附图1所示。基于这一创新性构建框架, 我们假设不同类型的边共存概率越高，则它们之间存在的相关性越强**. 因此我们开发了一种基于粗线型网络的学习机制**, 即CL-GNN模块引入了一种新型关系注意力机制用于信息传递过程**. 与此同时, H-GNN模块采用了CL-GNN提取的学习特征作为信息源**, 将来自邻居节点的消息与当前中心节点的消息进行融合更新, 这一过程能够有效增强中心节点对异构信息的关注度并提升模型性能**. 最终我们实现了两组组件在统一框架下的协同学习与优化目标**, 达到了异构信息建模的最佳性能表现。
研究的主要贡献体现在以下几个方面:

• 基于现有研究发现，在处理异构图中不同类型边之间的关联这一问题上，
  首次提出了一个统一模型的关系结构感知异构图神经网络(RSHN) ，系统性地分析了节点类型与边类型间的相互作用机制，并提取其嵌入表示。
  相比之下，在现有方法中，
  现有的方法通常会将异构网络拆分为多个同构子网络，
  这种分解方式无法充分揭示不同边缘间的交互特性以及潜在语义信息。
• 此外，
  **该模型无需预设固定的元路径模式，
  能够更加灵活地捕捉复杂的关联关系，
  并有效处理大规模多模态数据。
  **
  实验结果表明，
  在涉及大量复杂关系的四个大型多模态网络上的分类任务中，
  该模型的表现显著优于所有现有方法。

本文余下部分首先回顾了第二部分的相关工作，并随后对第二部分相关工作进行了回顾。接着，在第三部分我们对所提出的方法进行了详细介绍。在第四节中，我们将实验结果进行了总结，并且最后，在第五节中我们将研究结论进行了总结。

2 相关工作

我们开展的研究涵盖了(i)基于图神经网络(gnn)的方法,(ii)异构关系嵌入技术以及(iii)线状图分析。

3 所提方法

3.1

3.2

基于关系结构感知能力的异构图神经网络(RSHN)，由两个关键模块构成：粗化线形图神经网络(CL-GNN)和异构图神经网络(H-GNN)。其整体架构可在图3中详述。

RSHN通过多层次叠加H-GNN和CLGNN结构不仅能够获取多级邻居节点还能够区分不同类型边在各个层次的相关性信息

此方案通过融合异构图与粗化线形图的表示能力，在成功地关联节点与其不同类别的边方面取得了显著效果，并被成功应用于半监督分类任务的研究中

5 结论

我们系统地探讨了异构网络中不同边类型所承载的丰富语义信息及其图嵌入问题。现有方法通常通过将异构网络分解为多个同构子网络来处理这类问题，并未有效揭示不同类型边所携带的独特语义信息之间的复杂关联性。为此，我们提出了一种基于关系结构感知的人工智能模型——RSHN（Relation Structure-aware Heterogeneous Graph Neural Network），该模型首先构建了一个以边为中心的高层次抽象框架。通过深度挖掘边与边之间的紧密关联性，并提取其独特的特征组合来实现这一目标。在此基础上进一步优化节点表示并推演隐含的关系模式，在此基础上进一步优化节点表示并推演隐含的关系模式，在此基础上进一步优化节点表示并推演隐含的关系模式，在此基础上进一步优化节点表示并推演隐含的关系模式

---

总结
利用粗线图挖掘不同类型边之间的交互关系

应与R-GCN、RHINE等进行对比。