2023 WWW Predicting the Silent Majority on Graphs: Knowledge Transferable Graph Neural Network

引言

来源：The Web Conference 2023

Identifying the Latent Population on Graph Structures: A Knowledge-Transferable Graph Neural Networks (GNNs) Approach

论文链接：https://arxiv.org/abs/2302.00873

GitHub项目地址：https://github.com/wendongbi/KT-GNN

简介

图神经网络（GNNs）在节点分类任务中展现出良好的性能。近年来，关于图中分布外泛化的研究逐步增多，现有研究主要将图中的节点划分为分布内（In-Distribution）和分布外（Out-of-Distribution）两类，并通过分布外检测和不变性学习等方法，有效削弱少量分布外节点对模型性能的影响，从而提升模型的鲁棒性和在新数据分布下的泛化能力。然而，现实中数据分布的多样性使得单一削弱分布外节点的方法可能带来信息损失，甚至在极端情况下，分布外节点可能占据图中节点的绝大多数。对此，我们认为应该分别构建分布内和分布外节点的模型，并在不同分布节点之间建立有效的知识迁移机制，而不仅仅是简单地舍弃或削弱非目标节点。

在本文中，我们对一类特殊的图问题进行了创新性的形式化建模和系统性研究。具体而言，我们根据图中节点自身语义所决定的数据分布特征和节点特征的缺失情况，将图中的节点划分为两类：一类是具有显著语义表达能力的'大V'节点（Vocal Node），另一类是表现相对隐晦的'小V'节点（Silent Node）。我们将同时包含这两类节点的图称之为VS图（VS-Graph）。在此基础上，我们构建了大V节点与小V节点之间的知识迁移机制。这类问题在现实应用中具有广泛存在性，例如在金融安全领域 [1] 中的上市公司（大V）与非上市公司（小V）之间的关系，以及在社交网络 [5] 中的公众人物（大V）与普通用户（小V）之间的互动关系等。在VS图中，对小V节点（"沉默的大多数"）的建模具有特别重要的意义。与传统的迁移学习方法不同（即训练集与测试集的数据分布存在显著差异），由于图中节点之间相互关联，训练节点与测试节点共同存在于同一图中，且数据样本特征呈现非独立同分布特性并伴随特征缺失问题，这使得对数据分布进行建模面临着更大的理论挑战和实际难度。

本文报道了被WW2023会议接收的一项创新性研究工作，针对图中节点间显式数据分布存在显著差异的场景，提出了一种基于图神经网络的知识迁移框架，实现了节点级的知识迁移能力。主要贡献包括：1）创新性地设计了适应异构数据分布的图神经网络模型；2）提出了一种高效的多模态特征融合机制；3）实现了节点级的知识迁移能力。

我们提出了一个具有广泛价值的图结构——VS图，并成功开发出在图中预测沉默大多数的方法，这一应用在AI领域具有重要意义。

针对图中预测沉默大多数的问题，我们开发了一种新型的知识可迁移图神经网络 (KTGNN) 模型。该模型由保留域差异的领域自适应特征补全模块、消息传递模块以及基于分布距离最小化的领域可迁移分类器组成。数学公式...原样保留。

基于两个具有实际意义的场景（公司财务风险评估和政治选举）的数据集，我们进行了系统性实验研究。实验结果表明，我们的方法在多个关键指标上优于现有方法，特别是在分布外泛化能力方面表现尤为突出。具体而言，在图神经网络领域，我们的方法不仅提升了性能，还显著减少了计算资源的消耗。

问题定义

在本文中，我们系统性地构建了同时融合了大V节点（Vocal Node）和小V节点（Silent Node）的VS-Graph（图1），并成功实现了其在节点级的知识迁移。

图1展示了VS-Graph示例，其中(a)和(b)部分比较了传统图数据与VS-Graph之间的差异，(c)和(d)展示了两个真实世界的VS-Graph示例。

1. VS-Graph定义：

2. 任务定义—Silent Node Prediction on VS-Graph：

方法：知识可迁移图神经网络

基于图神经网络建模的需要，我们开发了知识可迁移图神经网络KTGNN（图2）。该网络通过将大V节点中丰富的知识迁移到小V节点，从而帮助小V节点更高效地学习节点表示。KTGNN主要包含三个模块：（1）基于领域自适应机制的节点特征补全模块；（2）基于领域自适应机制的图消息传递模块；（3）具有领域可迁移性的分类器模块。通过整合这三个模块的端到端训练，在保留大V和小V节点领域差异的前提下，实现了小V节点的自适应特征补全、消息传递和分类功能。

图2:KTGNN模型结构示意图

领域自适应特征补全（DAFC）：在问题定义部分，我们指出小V节点相较于大V节点可能在某些维度上存在不可观测的特征。由于图神经网络（GNN）需要在小V节点和大V节点之间进行信息传递，因此有必要对小V节点缺失的特征进行补全。尽管已有研究采用了启发式的特征补全方法（如补零、基于邻居节点特征的均值等），但这些传统方法未充分考虑大V节点与小V节点特征显著的分布差异这一特点，因而不适配于VS图中的特征补全任务。为此，我们开发了领域自适应特征补全模块。该模块在兼顾大V与小V节点特征分布差异的基础上，基于大V节点的特征在图中进行传播，并通过迭代的方式进行补全小V节点缺失的属性。

在VS图中，我们采用了领域内与领域间消息传递的区分方式，其中领域内消息传递包括大V-大V和小V-小V两种类型，而领域间消息传递则为大V-小V类型。这与特征补全的过程具有相似之处，在这一过程中，我们针对大V和小V节点的领域分布差异进行了特别处理。具体而言，在将源节点的特征传递给目标节点时，我们首先将源节点的特征矫正到目标节点的领域分布中，然后再进行传递。

领域可迁移分类器（DTC）：基于特征补全和消息传递机制，我们遵循大V节点与小V节点领域差异的保留原则，从而在这一阶段分别获得大V节点和小V节点的向量表示。尽管小V节点的训练标签数量有限，直接为其训练有效的分类器存在较大难度。针对节点的跨域问题以及小V节点标签稀缺的挑战，我们提出了一种新的领域可迁移分类器（DTC）。该方法通过从源域的大V节点转移知识，实现目标域的小V节点分类任务。相比之下，传统领域自适应方法通常通过约束学习到的表示仅保留领域不变性信息来传输知识。值得注意的是，DTC并非限制学习表示向量，而是旨在迁移模型参数，以便将优化后的源域分类器参数迁移到目标域分类器上。

数据集及实证分析

数据集

本文基于真实世界数据构建了VS-Graph模型，该模型包含两个数据集：一个是来自中国上市与非上市公司的Company数据集，另一个是Twitter社交网络中的Twitter数据集。在Company数据集中，我们旨在将每个公司划分为两类，即风险公司与正常公司。在VS-Graph模型中，重要节点对应上市公司，而非重要节点对应未上市企业。在Twitter数据集中，我们的目标是预测用户的政治倾向，将其分为两类：民主党与共和党。在VS-Graph模型中，重要节点对应知名政治人物（如特朗普、拜登），而非重要节点对应Twitter上的普通用户。

实证分析

基于现实世界场景的观察数据表明，这些真实场景中的大V节点和小V节点确实如同问题定义所指出的，呈现出显著的分布差异。值得注意的是，这些节点在属性/标签缺失方面也存在明显的差异。

在图4中，通过T-SNE方法对原始节点属性进行可视化展示，其中，Twitter数据集包含a、b、c三个子集，而Company数据集则包括d、e两个子集。图中，橙色和青色分别代表具有较高影响力（即大V）和较低影响力（即小V）的节点，红色和蓝色分别标记为二分类标签0和1。

进一步通过T-SNE可视化节点属性来进行多变量分析，从而直观展现Twitter和Company两个数据集中节点分布的显著差异。在图三（a）和（d）中，橙色点代表大V节点，青色点代表小V节点，它们在不同位置的分布也反映了大V节点与小V节点数据分布的差异。

实验结果

本文对模型在VS-Graph框架中实施的小型V节点分类任务进行了评估，并对其在政治选举活动和企业财务健康状况两大关键领域的表现进行了全面测试。

我们采用两个代表度量标准（即F1得分和AUC）来评估小V节点分类任务中的模型性能。如表2所示，与基于GNN的其他方法相比，我们的KTGNN模型在Twitter和Company数据集上对小V节点分类任务的性能表现显著优于其他方法。鉴于基线模型无法直接处理具有部分缺失特征（vs-graphs中的静音节点）的图，为了确保比较的公平性，我们将这些基线GNN方法与几种启发式特征补全策略相结合（例如，采用补全零/邻居特征均值的策略），并为每个基线GNN方法选择了最优的补全策略（如表2所示）。在上述实验设置下，我们的KT-GNN模型在Twitter数据集上实现了4%的F1-Score提升和3%的AUC提升，在Company数据集上则获得了5%的F1-Score提升和6%的AUC提升。这些结果充分证明了KT-GNN模型在小V节点分类任务中的卓越性能。

因篇幅所限，涉及KTGNN的更多实验结果，如需了解，请参考原文 [6]。如需了解相关问题或进一步讨论，请将邮件发送至[biwendong20g@ict.ac.cn]。

参考文献

[1] Wendong Bi, Bingbing Xu, Xiaoqian Sun, Zidong Wang, Huawei Shen, and Xueqi Cheng. 2022. Company-as-Tribe: Company Financial Risk Assessment on Tribe- Style Graph with Hierarchical Graph Neural Networks. In Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2712–2720.

[2] Yu Song and Donglin Wang. 2022. Learning from Graphs with Out-of-Distribution Nodes. Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, 1635至1645.

The research team has developed an unbiased methodology to address the issue of label selection bias in graph neural networks, employing an agnostic strategy to ensure reliable performance in label assignment processes.

Tiancheng Huang, Donglin Wang, Yuan Fang, and Zhengyu Chen. (2022). End-to-end Open-set Semi-supervised Node Classification and Out-of-distribution Detection. IJCAI (2022).

[5] Zhiping Xiao, Weiping Song, Haoyan Xu, Zhicheng Ren, and Yizhou Sun. 2020. TIMME: Twitter ideology-detection via multi-task multi-relational embedding. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2258–2268.

[6] Wendong Bi et al. 2023. Predicting the Silent Majority across Graphs: Knowledge Transferable Graph Neural Network. arXiv preprint arXiv: 2302.00873