Introduction to Graph Neural Network（图神经网络概论）翻译：Chapter1：Introduction
文章目录
- 1、Introduction
-
-
1.1 MOTIVATIONS
-
- 1.1.1 CONVOLUTIONAL NEURAL NETWORKS
- 1.1.2 NETWORK EMBEDDING
-
1.2 RELATED WORK
-
1、Introduction
图是一种数据结构，它对一组对象（nodes）及其关系（edges）进行建模。近来，用机器学习分析图的研究受到越来越多的关注，因为图具有巨大的表达能力，即图可以作为大量系统的表征，横跨各个领域，包括社会科学（social network） [Hamilton et al., 2017b, Kipf and Welling, 2017], 、自然科学（physical systems） [Battaglia et al., 2016, Sanchez et al., 2018] 和蛋白质-蛋白质相互作用网络 [Fout et al., 2017] 、知识图谱 [Hamaguchi et al., 2017] 和其他许多研究领域 [Khalil et al., 2017] 。作为机器学习的一种独特的非欧式数据结构，图引起了人们对关注节点分类、链接预测和聚类的分析。图神经网络(GNNs)是基于深度学习的方法，操作于图域。由于GNN具有令人信服的性能和较高的可解释性，近来成为一种应用广泛的图分析方法。在下面的段落中，我们将说明GNN的基本动机。
1.1 MOTIVATIONS
1.1.1 CONVOLUTIONAL NEURAL NETWORKS
首先，GNNs的动机是卷积神经网络（CNNs） LeCun et al. [1998] 。CNNs具有能够对多尺度局部空间特征进行提取和合成，以获得高表示能力的特征 ，这使得几乎所有的机器学习领域都取得了突破性的进展，并带来了深度学习的革命。随着对CNN和图的深入研究，我们发现CNN的关键：局部连接、共享权重和多层的使用 [LeCun et al., 2015]. 。这些对于解决图域的问题也是非常重要的，因为（1）图是最典型的局部连接结构 ，（2）共享权重与传统的谱图理论相比降低了计算成本 [Chung and Graham, 1997] ，（3）多层结构是处理分层模式的关键，它抓住了不同大小的特征 。然而，CNN只能对图像(二维网格)和文本(一维序列)等常规欧氏数据进行操作，这些数据也可以看作是图的实例。因此，我们可以直接想到寻找CNNs对图形的泛化。如图1.1所示，很难定义局部卷积滤波器和池化算子，这阻碍了CNN从欧氏域到非欧氏域的转换。
1.1.2 NETWORK EMBEDDING
另一个动机来自graph embedding [Cai et al., 2018, Cui et al., 2018, Goyal and Ferrara, 2018, Hamilton et al., 2017a, Zhang et al., 2018a] ，它学习用低维向量来表示图节点、边或子图 。在图分析中，传统的机器学习方法通常依赖于手工设计的特征，受到其不灵活和高成本的限制。遵循表征学习的思想和word embedding [Mikolov et al., 2013] 的成功，被认为是第一个基于表征学习的图嵌入方法， DeepWalk [Perozzi et al., 2014] ，在生成的随机漫步上应用SkipGram模型 [Mikolov et al., 2013] 。类似的方法如node2vec [Grover and Leskovec, 2016], 、LINE [Tang et al., 2015] 和TADW [Yang et al., 2015b] 也取得了突破性的进展。然而，这些方法存在两个严重的缺点 [Hamilton et al., 2017a]. 。首先，编码器中的节点之间不共享参数，这导致计算效率低下，因为这意味着参数的数量随着节点数量的增长而线性增长。其次，直接嵌入方法缺乏泛化能力，这意味着它们不能处理动态图，也不能泛化为新的图。
1.2 RELATED WORK
关于GNNs存在着一些全面的评论。 Monti et al. [2017] 提出了一个统一的框架MoNet，将CNN架构泛化到非欧几里得域（graph and manifolds），该框架可以泛化图上的几种光谱方法 [Atwood and Towsley, 2016, Kipf and Welling, 2017] 以及manifolds上的一些模型 [Boscaini et al., 2016, Masci et al., 2015]. Bronstein et al. [2017] 对几何深度学习进行了全面的回顾，介绍了它的问题、困难、解决方案、应用以及未来的发展方向。 Monti et al. [2017]和Bronstein et al. [2017] 专注于将卷积泛化到图形或显形体上，而在本书中，我们只关注定义在图形上的问题，我们还研究了GNNs中使用的其他机制，如gate mechanism、attention mechanism和skip connection 。 Gilmer et al. [2017] 提出了消息传递神经网络(MPNN)，它可以概括几种GNN和图卷积网络的方法。 Wang et al. [2018b] 提出了非局部神经网络（NLNN），它统一了几种 "self-attention "式的方法。然而，在原论文中，该模型并没有明确定义在图上。 Gilmer et al. [2017] and Wang et al. [2018b] 专注于特定的应用领域，他们只给出了如何使用他们的框架来推广其他模型的例子，他们没有提供比其他GNN模型更多的评论。 Lee et al. [2018b] 提供了对图注意力模型的评述。 Battaglia et al. [2018] 提出了图网络（GN）框架，该框架具有很强的泛化其他模型的能力。但是，图网络模型高度抽象， Battaglia et al. [2018] 只给出了粗略的应用分类。
Zhang et al. [2018f] and Wu et al. [2019c] 是两篇关于GNNs的综合性调查论文，它们主要关注GNN的模型。 Wu et al. [2019c] 将GNN分为四类：循环图神经网络（RecGNNs）、卷积图神经网络（ConvGNNs）、图自动编码器（GAEs）和时空图神经网络（STGNNs）。我们的书与 Wu et al. [2019c] 的分类法不同。我们在第6章介绍了图递归网络。在第5章介绍了图卷积网络，在第7章介绍了ConvGNNs的特殊变体–图注意力网络。我们在第9.4节介绍了图时空网络，因为这些模型通常用于动态图上。我们在第10.4节介绍了图自动编码器，因为它们是以无监督的方式进行训练的。
在本书中，我们对不同的GNN模型进行了全面的介绍，并对其应用进行了系统的分类。归纳起来，本书的主要内容如下。
- 我们对现有的GNN模型进行了详细的回顾。我们介绍了原始模型、它的变体和几个通用框架。我们研究了这一领域的各种模型，并提供了一个统一的表示方法来呈现不同模型中的不同传播步骤。使用我们的表示法，人们可以很容易地通过识别相应的聚合器和更新器来区分不同的模型。
- 我们对应用进行了系统的分类，将其分为结构性场景、非结构性场景和其他场景。对于每一种场景，我们都会介绍几种主要的应用及其相应的方法。