Relation-aware Graph Attention Model With Adaptive Self-adversarial Training论文笔记

Relation-concIOUS Graph-attention model incorporating adaptive self-adversarial training

相关基础知识

什么是异构图？

单一的同构图 数据集中仅包含一种类型的节点与边。另一方面,异构图 包含多种不同的节点类型与边类型。

异构图的关系预测问题

对于任意两个具有多重属性的对象（entity），我们可以通过推断它们之间存在的关联类型（relation）来实现知识抽取任务的目标。在异构图模型中，默认情况下假设每个实体对象对应一个唯一的节点表示，并将不同类型的关联关系映射为不同类型的连接边形式存在，在这种设定下我们可以通过学习算法自动识别并建模不同类别的关联关系特征以及它们之间的相互作用机制

Motivation

• 知识图谱嵌入（KGE）方法主要用于解决异构图中的关系预测问题；或者即使采用了图神经网络（GNN），但在信息传递过程中忽视了边的语义信息；其提取出的特征表示效果并不理想；因此导致预测结果精度不高。
• 许多现有的图表示学习方法均可纳入一个基于采样噪声对比估计的框架之下；随机负采样的机制相对简单且具有良好的收敛性；由于大部分负样本在训练初期容易被模型快速识别出来；因而存在梯度消失现象；生成对抗网络（GAN）类的方法则能有效缓解这一问题；然而生成对抗网络（GAN）面临的主要问题是参数规模庞大以及训练过程相对复杂。

Contribution

• 针对异构图场景下的关系表示学习问题，我们提出了一种 novel 的图注意力网络架构——RelGNN（Relation-aware Graph Neural Network），该模型通过引入边层编码器这一关键组件来捕获异构图中边的不同语义特征。
• 针对复杂网络中的关系推理问题，在不增加额外参数的前提下，我们开发了一种 novel 的负采样策略——ASA（Adaptive Similarity Augmentation），该策略能够有效识别出难负样本实例，并通过自适应机制降低了假负样本的比例。
• 通过在多个基准测试集和工业数据集上的实验结果表明，在关系预测任务中，默认情况下 RelGNN 和 ASA 组合方案相较于 STOA 方法展现出显著的优势。

Problem Definition

可以用符号G=(V,E,A,R,\phi)来表示一个异构图。其中，

• 节点集合V=\left\{v_1,\cdots,v_n\right\}代表了图中的各个节点；
• 属性模式集合A=\left\{a_1,\dots,a_k\right\}用于描述图中各节点的属性类型；
• 每个节点v_i具有类型\phi(v_i), 其相关联的属性模式属于集合A_{\phi(v_i)}, 这个子模式是整个属性模式集的一个组成部分；
• 边集合由无向边组成的边集/E=\left(e_1,e_2,...,e_m)\right.;
• 进一步地，在某些情况下一对节点之间可能同时存在多种关系（即有多条连接）。

Method

GelGNN

如下图所示，GelGNN包含四个部分。

Attribute Embedding

第一步是将节点的所有属性分别编码为向量，并将这些向量进行拼接处理；随后通过一个全连接层生成该节点的所有属性embedding向量。

Message passing

基于自注意力机制结合节点属性嵌入与图嵌入生成最终实体嵌入

对于节点v_i，定义其在图中的传播函数为：

h_{v_i}^{(t)}=\sigma(\sum_{r\in R}\sum_{v_j\in N_{v_i}^r}\alpha_{(v_i,v_j)}W_r^{t-1}h_{v_j}^{(t-1)}+W_{self}^{t-1}h_{v_i}^{(t-1)})

其中\sigma为一个激活函数，N_{v_i}^r表示与顶点v_i包含关系r\in R的邻接顶点集合。W_r^{(t-1)}是专门为顶点v_i与顶点v_j之间的关系r编码的一个权重矩阵，W_{self}^{(t-1)}是编码顶点v_i前一个时间步的embedding向量的权重矩阵。\alpha_{(v_i,v_j)}是一个attention权重因子，这个权重因子通过如下方式求的。

分子部分表示两个节点间注意力权重的计算方式：首先对两个节点的自注意力特征向量分别施加模运算并连接起来作为输入向量；然后将其线性变换后通过σ函数激活；最后取指数得到分子值；分母部分则对所有可能关系的指数激活值求总和。

其中\cdot^\top表示转置矩阵；|运算符对应于concatenation操作；h_r编码对应关系r；A_e是单头注意力机制的权重矩阵。扩展至多头注意力机制后，则节点特征向量经过多头注意力机制处理后的组合形式即为：

h_{v_i}^{(t)}=\sigma(\frac{1}{L}\sum_{l=1}^L(\sum_{r\in R}\sum_{v_j\in N_{v_i}^r}\alpha_{(v_i,v_j)}W_r^{t-1}h_{v_j}^{(t-1)}+W_{self}^{t-1}h_{v_i}^{(t-1)}))

其中L为头的数量。

Final Entity Embedding

每个节点v_i仅仅包含其自身的属性信息作为初始特征h_{v_i}^{(0)}。经过信息传播过程后，在最后一个时间步t=last时点上获取到的节点特定性状表征为\h_vi^{last}。基于注意力机制整合了属性特性和网络拓扑关系特性的混合表征从而生成该实体（即节点）的整体表征。

h_{v_i}^{final}=\alpha_{attr}h_{v_i}^{(0)}+\alpha_{graph}h_{v_i}^{last},

\text{attr}_{\text{score}} = \frac{\exp(\sigma(a_s^\top h_{v_i}^{(0)}))}{\exp(\sigma(a_s^\top h_{v_i}^{(0)})) + \exp(\sigma(a_s^\top h_{v_i}^{\text{last}}))}

其中权重因子通过求softmax得到。

Adaptive Self-Adversarial Negative Sampling

负采样是一种模拟具有庞大输出层softmax函数的技术，并基于噪声对比估计的思想，在这种技术下好的模型可以在噪声中识别出正确的信号。在关系预测问题中，在不改变边的情况下通过修改其中一个节点来生成新的节点对作为负样本。
本文提出了一种自适应自对抗负采样方法（ASA） ，该方法利用正样本作为基础变体，在此基础上通过合理调节生成难易程度来优化分类性能。因此，

f_{\text{neg}}(\mathbf{x}_i, \mathbf{x}_j) = \argmax_{k \in \mathcal{N}^-} \log p(y_{ik}=1|(\mathbf{x}_i, \mathbf{x}_j))

该差值的绝对值被最小化，
其中\arg运算用于最小化，
使得d'_r(f'(v_i), f'(v_j)) - d'_r(f'(\{\bar{v}_m, r, \bar{v}_n}) ) - \mu
这一差值的绝对值被最小化，
其中集合\{\bar{v}_m, r, \bar{v}_n\}不属于集合E。

其中f'是上文中所述的GelGNN模型，在该模型的基础上实现了节点嵌入向量的学习过程。在这一过程中，
d_r'被定义为评估两个顶点之间存在关系r时所获得的关系分数，
其主要目的是计算并返回两个顶点间存在关系r时所获得的关系分数。
同时，
\mu
被设定为一个正值常量，
其作用类似于设定一个阈值界限（margin）来调节系统的收敛性。
基于上述方法框架，
针对给定的一个特定正样本实例，
该系统能够根据计算得到的关系分数值合理地筛选出具有适当hardness水平的目标负样本实例。