图神经网络（Graph neural networks）综述
这篇论文综述了图神经网络（Graph Neural Networks, GNN）的基本概念及其应用。GNN通过聚合节点及其邻域信息来捕捉复杂关系型数据中的依赖关系，并广泛应用于监督学习、半监督学习和无监督学习等领域。论文详细介绍了GNN的主要模型变种及其局限性，并探讨了其在物理系统、分子化学、图像分类和文本处理等领域的实际应用。尽管GNN在处理复杂关系型数据方面取得了显著成果，但仍面临过光滑状态更新、动态图处理能力不足等问题，并提出了改进方向以提升其泛化能力和扩展性。
Graph Neural Networks: A Review of Methods and Applications
本研究聚焦于图（Graph）数据所承载的丰富语义关联信息。在处理文本、图像等非结构化数据时进行复杂推理学习，如句子的语法结构关系、图像中的场景关系等任务，均需依赖于高效的图推理模型。图网络（Graph neural networks）是一种基于链接的模型架构，在节点间信息传递中捕捉复杂依赖关系。近年来，图卷积网络（Graph Convolutional network）和门控图网络（Gated graph neural network）在多个领域取得了显著的应用成果。
Introduction
通过这种方式组织化形式的数据进行描述。这种数据由多个节点集合和边属性构成。
被视为一种非欧几里得形态的数据。图分析方法在这些领域得到了广泛应用。
针对其构建基础动机的研究在论文中进行了详细探讨。
卷积神经网络（CNN）被认为是图神经网络（GNN）发展的重要驱动力。该方法能够有效地提取不同尺度的空间特征并进行整合以形成紧凑的表征。受限于传统的欧氏空间数据特性的限制，仅适用于处理如二维图像或一维文本等这类特殊的场景。对于图模型而言，其具有三个显著的特点：局部连接机制、权值共享特性以及多层次结构设计。这些特性不仅为深度学习模型提供了强大的理论基础，也为后续研究奠定了重要基础。然而，在将卷积操作扩展至图结构的过程中仍面临诸多挑战。例如，在定义局部卷积核以及实现有效的池化操作方面仍需进一步探索和完善相关技术
这也阻碍了CNN由传统欧几里得空间向非欧几里得空间的扩展。
另一个动因源于图表示技术（graph embedding），其核心在于将图结构中的节点、边以及子图以低维向量形式进行表达。该领域的发展深受表示学习（representation learning）与词嵌入（word embedding）理论的影响。其中一种具有里程碑意义的方法是DeepWalk算法——一种基于表示学习的方法，在该领域处于领先地位。此外，基于SkipGram架构的随机游走方法也得到了发展；同时还有node2vec、LINE以及TADW等方法。然而这些现有方法均存在两个显著缺陷：首先不同节点之间缺乏共享参数机制导致计算复杂度与节点数量呈线性增长；其次现有方法在处理动态网络或推广至新网络时均表现出较差的泛化能力。
GNN相对于传统的神经网络来说也是存在优势的。标准的CNN和RNN网络不能处理图输入这种非顺序排序的特征表示。换句话说，图中节点的排序是没有规律可言的。如果非要用传统的CNN和RNN来处理图数据的话，只能遍历图中节点所有可能的出现顺序作为模型的输入，这对模型的计算能力来说是难以承受的。为了解决这个问题，GNN分别在每个节点上传播，忽略了节点之间输入的顺序。换而言之，GNN的输出是不随节点的输入顺序为转移的。另外，图中的边表示两个节点之间的依赖关系。在传统的神经网络中，这种依赖关系只能通过节点的特征表示来体现。GNN可以依赖周围的状态来更新节点的状态。最后是推理能力，与人类从日常经验中获取推理能力相似，GNN能够从非结构化数据（例如:场景图片、故事片段等）中生成图。与之对比的是，传统CNN和RNN能够从大量经验数据中生成完整的图片和文档，但并不能学习出这种推理图（reasoning graph）。
论文的主要贡献有：
- 构建一个统一的形式化框架以呈现不同模型中的传播过程。
- 系统地阐述了主流的各类方法在各领域的实际应用情况。
- 对图神经网络面临的一系列关键问题如over-smoothing、尺度问题、动态图特性以及非结构化数据处理等进行了深入分析及其未来研究方向的探讨。
Model
Graph Neural Networks
在图形中，
每个节点描述基于其自身特征及其关联节点构建。
GNN的主要任务是学习生成一个state embedding函数hv，并涵盖所有节点领域的相关信息。
hv代表了节点v的信息编码，在预测该节点对应的输出值ov时具有重要作用（如分类任务中的标签）。f（·）被定义为局部转移函数，在整个网络架构中被所有节点所共享，并根据输入领域的具体信息动态更新每个节点的状态参数。其中，
xv代表了节点v本身的特征编码，
xco[v]则表示连接到该节点的所有边所携带的特征信息，
hne[v]记录了当前处理到该层时所掌握的相关状态信息，
而xne[v]则包含了与当前处理过的邻接点相关的全部特征数据。
g（*）被称为local output function，它是用来产生节点的输出的。
H、O、X、XN为其推广形式，代表图中的所有对象的堆叠形式。
基于Banach不动点理论建立后，在GNN中状态矢量的迭代更新过程具体表现为以下数学公式
Ht代表H的第t-th的状态，H（0）代表其动态方程的初始状态。
对于一个图神经网络而言，在设计过程中旨在学习两个函数f（·）和g（·）。其中tv表示具有监督的学习目标的一个节点，在优化过程中，图神经网络通过调整参数以最小化损失函数来实现目标。
在图中所有标注样本的基础上进行计算。具体而言,该优化过程采用了梯度下降算法。
- h按照迭代更新机制不断被公式1重新计算,经过T个时间步的迭代更新后达到稳定状态,满足H(T)=H.
- 权重W的梯度由loss函数经过一系列计算流程得出.
- 按照设定好的优化策略进行梯度更新步骤.
Limitations：基于实证研究的结果表明，其在处理结构化数据方面表现出色，并且展现了显著性能提升。然而目前仍面临一些主要缺陷。
- 更新不动点隐藏状态的过程效率极低。
- 标准网络在不同迭代次数上采用统一参数设定。
- 原始GNN架构未能充分捕捉某些关键的边特征信息。
- 若研究重点不在节点表示上，则不适合依赖不动点方法。
Graph Types
在原始GCN架构中,模型接收带有标签节点信息以及非加权边作为输入数据.近年来,基于图神经网络的研究呈现多样化发展趋势.
Directed Graphs
这种变体即为有向图（directed graphs）。传统的无向边可视为由两支有向边构成，并用来表征两个节点之间的关联关系。然而，在功能上相比无向图而言，有向图能传达更多信息。例如，在知识图谱中两个实体通过一条边相连，则表示第一个实体是第二个实体的父类关系。这就要求模型以不同的方式对待父类与子类的信息传播过程。ADGPM模型则采用WP和WC两种权重矩阵来精确表征网络结构信息。
DA分别代表规范化的父类和子类的邻接矩阵。
Heterogeneous Graphs
在异构图中存在不同类型的节点。表征不同类型节点最简单的形式是将类型以one-hot向量的方式进行编码，并将其与原始节点的特征向量进行连接。GraphInception模型通过整合metapath（一种基于路径游走的方式）的概念到异构图信息传播机制中。我们可以对每一个邻居节点群体按照其节点类型及距离进行分类。对于每一个邻居节点群体GraphInception将其作为一个同构图中的子图，并将来自不同同构图的信息传播结果相互连接并整合起来作为集合节点进行表征
Graphs with Edge Information
在图中进行分析时发现，在线性空间中对称矩阵具有良好的性质。具体而言，在此空间中我们定义了一个新的函数形式：对于任意给定的一组基底{e_i}（i=1,2,…,n），其对应的对称矩阵S可由下式给出：
S = \sum_{i=1}^{n} \lambda_i e_i e_i^T
其中λ_i代表特征值。这个构造过程不仅满足对称性要求，并且保证了正定性条件得以满足。
Propagation Types
在模型中，在信息传递过程中以及结果生成的过程中均需完成两个核心环节的操作：一是数据特征在网络中的传播过程；二是基于当前网络拓扑结构进行特征提取并生成最终结果的过程。在此基础上构建起能够有效提取复杂网络空间特征并进行深度学习的任务框架。
Convolution**：** GCN将卷积操作应用于图结构的数据上，并主要可分为Spectral method和Spatial Method两种方法。这些方法都旨在对节点及其相邻节点的信息进行收集。
该方法通过采用GRU或者LSTM等具有门控机制的网络架构，在图结构中实现长时间的信息传输效果。
Attention**：** Graph Attention Network (GAT) is a graph-based attention mechanism designed to capture node-specific representations. The model employs an attention-based aggregation mechanism to integrate information from neighboring nodes, enabling the network to learn node embeddings that reflect both local and global structural properties.
Skip connection：研究表明，在神经网络中增加更多的层能够帮助模型在节点的邻近节点上获取更多的信息；然而，在实际应用中发现过深的网络结构会在信息传播过程中引入噪声干扰，并导致模型性能下降；借鉴图像领域中的成功经验（如ResNet和Highway网络等），这类跳连接机制能够有效缓解上述问题
Training Methods
论文中还介绍了几种GNN的训练方法。例如其主要通过节点邻域信息进行聚合GraphSAGE这一类算法具有此特点而FastGCN则通过随机采样部分节点邻居信息来减少计算开销这些训练策略显著提高了模型的整体训练效率
General Frameworks
此外，在研究中也提出了多种图框架来整合不同模型方法至统一框架下运行。其中：
· MPNN（message passing neural network）：整合了各类图神经网络架构。
· NLNN（non-local neural network）：整合了自注意力机制的不同实现。
· GN（graph network）：涵盖了MPNN、NLNN及其他主流图网络架构。
Message Passing Neural Networks
MPNN网络主要由两个部分构成：消息传递过程（Message Passing Process）与读出过程（Readout Process）。具体而言，在经过时间T步骤后，该消息传递过程由message函数Mt与节点更新函数Ut共同作用。经过时间T步骤后，在每个节点的隐状态将通过Mt与Ut生成下一时刻的隐状态值。
evw 可表示为节点 v 至节点 w 边上所具有的特征，在读取阶段中，则可被视为对整个图上所有边的特征向量进行综合分析。
T symbolizes all time points. The configuration of functions and the choice of methods can be appropriately adjusted, for instance, the GGNN model.
Non-local Neural Networks
NLNN网络被提出用于捕捉深度神经网络中存在的长时依赖关系问题。Non-local模块可以发展成为
i是输出位置的序号,j代表图中所有可能存在的位置的序号.函数f(⋅)用于计算i号节点与j号节点之间的距离.函数g(⋅)表示输入节点隐状态的变化情况.最后得到的结果经过归一化处理.
Graph Networks
图网络的定义：一种图通常以三元组形式G=(U,H,E)来呈现。其中U分别表示全局属性、H则指代图中各个节点的特征信息、E则记录各节点之间的连接关系及其相关属性信息。
图的设计有三个基本原则：
- 多样的表达形式使得图中节点和边的属性能够采用多种数据形式进行描述。
- 每个块在GN架构中都是独立可配置的。
- 高度可组合的设计方案展示了复杂的体系结构。
如下图所示：
APPLICATIONS
该研究工作主要聚焦于图网络技术及其在多个领域的应用探索。具体而言,论文从三个不同角度进行了详细阐述:第一, 结构化场景, 即涉及具有明确关系架构的数据类型;第二, 非结构化场景, 包括语言处理与视觉感知等领域;第三, 其他应用场景, 如生成式模型与组合优化模型等. 各个研究领域均对其应用细节进行了深入探讨.
Structural Scenarios
**** GNN被广泛的应用到包括应用物理、分子化学和知识图谱等领域。
Non-structural Scenarios
Image： 在图像分类中，每个类别被视为图中的一个节点。
在文本分类领域中，在这种模型下，在这种假设下
GNN还可以被应用到许多其他情景中去。
OPEN PROBLEMS
- 浅层结构：现有的GNN架构主要局限于处理层次较浅的网络结构，在深度增广时容易出现性能退化现象。
- 动态图：当前大多数方法受限于仅能处理静态图数据这一局限性，在动态图场景中尚未找到有效的解决方案。
- 非结构化场景：目前尚未出现一种普适性的解决方案来有效管理非结构化的数据特征。
- 扩展性：将图网络扩展至大规模数据集时仍面临诸多挑战。