论文《Surrogate Representation Learning with Isometric Mapping for Gray-box Graph Adversarial Attacks》笔
【SRLIM 2022 WSDM】本文认为代理模型的训练和所提供的梯度信息的可靠性还缺乏讨论。在图数据中，节点的拓扑结构是攻击者可以利用的重要信息，保留这种拓扑信息可以提供攻击的可转移性。然而代理模型在训练时丢失的这种信息，所以梯度信息变得不可靠。本文针对该问题提出了一种使用等距映射的代理模型表示学习方法SRLIM，通过在代理模型的训练过程中保留节点的拓扑结构，生成更可靠的梯度信息，这些信息可以指导生成具有高可转移性的对抗性扰动。
发表在2022年WSDM会议上，作者是浙大的，引用量11。
WSDM会议简介：全称Web Search and Data Mining，互联网搜索和数据挖掘领域的顶级学术会议，CCF B。
查询会议：
- 会伴：https://www.myhuiban.com/
- CCF deadline：https://ccfddl.github.io/
原文和开源代码链接：
- paper原文：https://dl.acm.org/doi/10.1145/3488560.3498481
- 开源代码：None
0、核心内容
背景与动机：
- 灰盒图攻击的目标是通过有限的知识，使用不易察觉的攻击手段来破坏受害者模型的性能。
- 攻击者无法看到受害者模型的细节和测试节点的标签。
- 现有的研究主要集中在如何使用梯度来创建扰动，而没有深入探讨如何从代理模型中获得更可靠的梯度。
代理模型表示学习：
- 代理模型是在监督下训练的，用于获取节点属性或图结构上的梯度信息。
- 论文指出，一般的节点分类模型在表示学习过程中丢失了节点的拓扑结构，这对于攻击者来说是一个可利用的先验知识。
SRLIM（Surrogate Representation Learning with Isometric Mapping） ：
- 提出了SRLIM方法，通过等距映射保留代理嵌入中的拓扑结构。
- SRLIM通过等距映射约束节点从输入层到嵌入空间的拓扑结构，保持节点在传播过程中的相似性。
- 实验证明，SRLIM通过提高基于梯度的攻击者在非目标中毒灰盒场景中的攻击性能，证明了其有效性。
相关工作：
- 讨论了修改节点特征、修改图结构和节点注入等三种攻击图结构数据的方法。
- 介绍了不同的攻击方法，包括Nettack、RL-S2V和基于梯度的攻击策略。
预备知识和定义
- 介绍了图的表示、GNN模型的背景和节点分类任务。
- 讨论了基于梯度的边扰动方法，如Metattack。
方法论
- 讨论了输入层拓扑信息丢失对梯度和攻击可转移性的影响。
- 提出了一种方法，使得嵌入层的节点特征在代理模型训练过程中保留输入层的拓扑结构。
实验
- 使用Citeseer、Cora和Cora-ML数据集进行实验，比较了SRLIM与其他基线模型（如DICE、Meta-Tain、Meta-Self和EpoAtk）在不同扰动率下的攻击性能。
- 实验结果表明，SRLIM在大多数情况下表现优于其他方法，证明了其在灰盒攻击中的有效性。
可视化
- 通过PCA可视化展示了不同模型的嵌入层，证明了SRLIM在保留拓扑信息方面的优势。
结论
- SRLIM通过等距映射学习拓扑结构，提高了代理模型提供的梯度的可靠性，从而提高了灰盒攻击的可转移性。
论文的主要贡献在于提出了一种新的代理表示学习方法，通过保留拓扑信息来提高灰盒图对抗攻击的可转移性。
1、先验知识
① 什么是灰盒攻击的可转移性（the transferability of gray-box graph adversarial attacks）？
灰盒攻击的可转移性指的是攻击者生成的对抗性扰动能够在不同的模型之间有效传播的能力。在灰盒攻击的场景中，攻击者对目标模型（受害者模型）有有限的了解，但并非完全一无所知。可转移性强调的时攻击手段的通用性和适应性，即使在目标模型的具体细节未知的情况下，也能对模型造成影响。
其实说白了就是该攻击方法适用于不同的神经网络模型。
有限的知识：攻击者对受害者模型的结构、参数或训练过程只有部分了解。
代理模型：攻击者通常会训练一个代理模型来模拟受害者模型的行为。代理模型用于生成对抗性扰动，这些扰动随后被用于攻击真实的受害者模型。
拓扑信息：在图数据中，节点的拓扑结构（即节点之间的连接关系）是攻击者可以利用的重要信息。保留这种拓扑信息可以提供攻击的可转移性。
泛化能力：攻击手段需要能够在不同的数据集或模型架构上有效，即使这些模型与代理模型不同。
攻击效果：可转移性高的攻击能够导致受害者模型在预测任务上的性能下降，例如增加错误分类的比例。
鲁棒性：具有高可转移性的攻击不容易被模型的微小变化所影响，因此在不同的模型实例上都能保持其效果。
在论文中提出的SRLIM方法，就是为了提高灰盒攻击的可转移性而设计的。通过在代理模型的训练过程中保留节点的拓扑结构，SRLIM能够生成更可靠的梯度信息，这些信息可以指导生成具有高可转移性的对抗性扰动。
2、展开研究
① 现有问题&解决方法
现有工作主要集中于使用梯度来创建扰动，而没有研究如何从代理模型中获得更可靠的梯度 。
我们将模型的表示学习过程 视为学习节点从输入层到嵌入层的映射。
作为一个独热标签训练的分类器，GNN可以将一个节点映射到嵌入层中相应聚类的质心附近，但难以捕获节点之间的拓扑关系。
如图1(a)所示，在基于分类的表示学习过程中，输入层节点的拓扑部分丢失，使得输入层节点映射到嵌入层时，输入层节点之间的相似性混淆。
图1：代理模型映射节点从输入层到嵌入层的示意图。(a)中拓扑结构在映射过程中丢失；(b)中在映射过程中保留拓扑信息。
基于损失函数的反向传播，输入层上的梯度与嵌入层上的拓扑结构（节点间的相似性）直接相关，而与输入层上的拓扑结构并不完全相关。
因此，攻击者产生的基于梯度的扰动受到代理模型嵌入层映射的影响，成为特定于该模型，同时失去对其他模型的泛化。
考虑到受害者模型的未知性，为了提高攻击的可转移性，本文提出代理模型应在嵌入层和输入层中保持节点拓扑的一致性。
为此，提出了等距映射代理模型表示法SRLIM，该方法保持了节点从非欧输入空间到欧式嵌入空间的拓扑结构。
我们引入图测地线距离来表示输入空间中节点之间的相似性，并使用额外的损失约束节点的映射为等距。
SRLIM的代理模型学习了如何保持从输入层到嵌入层的节点相似性。
因此，该模型在数据层上的导出梯度和输入层上的节点拓扑之间建立了一个连接。
② 本文贡献
1）讨论了对于灰盒攻击代理模型是通用GNN时表示学习中丢失拓扑的不足之处，并提出代理模型应该保留从输入层到嵌入层的节点拓扑。
2）提出了SRLIM（使用等距映射的代理表示学习），使模型能够学习拓扑结构。它结合了测地线距离来估计图上节点之间的相似性。通过保持节点从输入层到嵌入层的相似性，SRLIM可以将拓扑信息传播到嵌入层。
3）通过比较SRLIM的攻击性能与其他基准模型上的攻击性能来验证本文方法的有效性。
3、Methodology
① 为什么拓扑重要？
假设有节点v_a,v_b,v_c和集群c_α,c_β,c_γ。每一个集群（cluster）表示一个类别的节点在输入或嵌入空间上的分布。节点v_a,v_b,v_c分别属于集群c_α,c_β,c_γ。
图1为模型从输入层到嵌入层的映射示意图。图中包含了(a)和(b)两种情况，分别对应于模型是否保留了映射过程中节点的拓扑信息。在训练过程中，模型学习将输入空间中分散分布的节点映射到嵌入层上相应的簇中。
**从输入层节点分布的角度来看，误导模型将节点v_a向v_b方向（或进入c_β区域）进行分类，会降低成本。**在图1(a)的映射过程中，节点v_a被映射到嵌入层中靠近v_c和c_γ的位置。攻击模型倾向于误导 v_a向c_γ，因为v_a和c_γ在嵌入空间中更近，因此在该方向上的梯度更显著。
值得注意的是，模型的预测与模型的嵌入层直接相关，无论是从输入开始的正向传播过程，还是从输出开始的反向传播过程。当网络在正向传播过程中丢失拓扑信息时，由反向传播引起的攻击损失所产生的梯度也不包含输入层的拓扑信息。然而，输入空间中节点的拓扑结构对攻击者来说是有先验价值的。考虑到受害者模型是未知的，网络在传播过程中应保持拓扑结构的一致性，以提高攻击的泛化性和可转移性，如图1(b)所示。在表示学习过程中，同时学习节点的拓扑结构，使攻击损失的梯度与输入层上节点的拓扑结构相关。这样，来自代理模型的梯度就包含了图中节点的拓扑关系的先验知识，从而使其对攻击者更可靠。
② 非欧式相似度估计
图结构数据分布在非欧几里得空间中，因为节点除了具有属性外，还与其他节点有邻接关系。传统的相似性度量标准，如欧几里得距离和曼哈顿距离，并不能表征图的拓扑结构。为了得到非欧几里得空间中节点相似性的估计表示，我们引入了图中节点的连通性（connectivity）和测地线距离（geodesic distance）。
节点的连通性：对于在图中没有连接的节点，它们之间的距离是无穷大的。对于图中连接的节点，它们之间的距离是在最短路径上连接它们的边的长度之和。
测地线的计算公式：
E为节点v_i和v_j之间最短路径上连接它们的边，d(E)表示路径上由边E直接连接的两个节点的余弦相似度，A_{i,j}^∞>0表示节点v_i和v_j在图上是连通的。
为了避免真实数据中的异常值和邻域不均匀性的不利影响，将测地线距离τ通过以下方程进行变换。
此外，节点v_i和v_j之间的对称测地线相似度可以计算如下：
因此，我们可以得到一个图测地线相似度矩阵S(A,X^*)=\{s_{i,j}|i,j=1,……,n\}，其中X^*既可以是节点属性X，也可以使任何潜在层H^{(l)}中的表示。
③ 等距映射（Isometric Mapping）
通过计算图测地线相似度矩阵S(A,X^*)，我们可以推导出代理模型任意一层上节点的拓扑结构。我们使用等距映射来传播深度网络的层之间传播拓扑。具体来说，我们在输入层上使用测地线相似度矩阵来S(A,X)约束隐层中的S(A,H)。
图2说明了使用SRLIM训练代理模型的总体框架。
代理模型的网络结构由一个两层的GCN组成。在嵌入层上的节点表示通过一个Softmax函数输出预测的概率。在训练过程中，除了交叉熵损失外，我们还引入了一个等距映射损失L_{im}来拟合这两个相似矩阵。
基于SRLIM的代理模型的损失函数表示为：
其中，Z为概率分布，Y为标签集，H^{(L)}为网络输出前的最后一个隐藏层，即节点嵌入。第一项L_{ce}是监督节点分类任务训练阶段常用的交叉熵函数。第二项L_{im}是输入空间和嵌入空间中节点的相似性的博格曼散度（Bergman divergence）。
博格曼散度的定义如下：
其中，F(·)是定义在闭凸集上的连续可微凸函数。
在SRLIM中使用的博格曼散度的形式被定义为：
L_{im}的输入是数据特征S(A,X)和嵌入S(A,H^{(L)})的相似度矩阵。**L_{SRLIM}的第二项是为了减少两层之间节点拓扑结构的差异。**由于S(A,X)是不可学习的，代理模型学习将嵌入拓扑S(A,H^{(L)})与输入的拓扑相匹配。当第二项收敛时，我们认为等距映射发生在代理模型中，即代理模型可以从原始数据中学习拓扑结构。
4、实验
实验数据集：Citeseer、Cora、Cora-ML。
数据集分割方式：10% labeled nodes，90% unlabeled nodes。
对比攻击算法（Baselines）：DICE、Meta-Train、Meta-Self、EpoAtk
实验设置场景：非目标中毒灰盒攻击。
扰动率：1%、3%、5%。
实验结果：
可视化结果及分析：
图3(e)和(f)展示了在嵌入层使用不同的权值参数初始化的SRLIM的性能。可以发现，与正常的GCN相比，训练后的SRLIM在嵌入层中的节点分布相对固定。在这两个可视化图中，嵌入层的节点在聚合和维护拓扑结构之间找到了平衡，因此节点的分布与其他模型的分布是不同的。这证明了输入层的拓扑结构约束了SRLIM的映射过程。因此，通过可视化，我们通过经验证明了一般的GNN在训练过程中丢失SRLIM的拓扑信息，而SRLIM可以保留拓扑信息。