【论文阅读】Graph Few-shot learning via Knowledge Transfer
目录
1、简介
导读
动机
贡献
2、方法
框架
算法描述
3、实验
数据集
实验结果
整体表现
消融实验
参数敏感性分析
节点可视化
4、小结
5、参考
1、简介
论文题目：知识转移方法在图的少样本学习中的应用
导读
针对复杂性较高的半监督节点分类问题，已有大量研究致力于探索有效的解决方案。图神经网络（GNNs）作为一种新兴领域，近年来受到了学术界和产业界的广泛关注。然而，现有的大多数GNN架构通常具有较浅的深度，其覆盖范围有限，且在标记节点数量较少的情况下，可能难以达到令人满意的性能水平。针对上述挑战，我们提出了一种创新性的图小样本学习算法，命名为GFL（Graph Few-Shot Learning），旨在通过有效利用有限的标记信息来提升目标图的分类性能。具体而言，该算法通过构建一个共享的可转移度量空间，将辅助图与目标图进行关联，该空间基于节点嵌入和图特定的原型嵌入函数，能够有效地传递结构知识。通过在四个真实世界图形数据集上的大量实验以及全面的消融研究，我们验证了所提出模型的有效性和优越性。
动机
GNN在标签数据稀缺的情况下，其效果较为受限。鉴于此，本文致力于探索具有图结构数据的小样本学习方法。
该方法借鉴了最近成功的小样本学习方法，通过从辅助图中获取的知识来提升目标图中半监督节点分类的效果。其背后的关键在于辅助图和目标图之间具有相似的局部拓扑结构，以及分类任务所依赖的节点特征的共享。在小样本方法中，基于度量空间的方法通常被认为更为有效。本文则采用了后者。
贡献
我们基于知识迁移的方法提升了半监督学习的性能。我们开发出一种图基的小样本学习方案GFL，以同时处理节点级别的结构信息和图级别的结构信息。基于四个节点分类任务的实验结果，我们验证了GFL框架的有效性。
2、方法
框架
整体框架图
Hierarchical Graph Representation Gate设计
主要由三部分组成，其中每部分作用：
Graph Structured Prototype（node-level图结构的原型网络）
该部分旨在通过支持集S_ik和一个原型网络来学习图g_i中每一个类别的c_ik。通常，图中的一个节点扮演着两种重要角色，即与类别可能不同的邻节点之间的关系，以及与同类节点之间的关系。图G的嵌入表示Z=GNN(A,X)主要关注了第一种作用。然而，为了使图G的学习机制能够反映第二种作用，即同类节点之间的关系，本部分提出了一种解决方法，即基于改进的Prototype GNN(PGNN)模型。值得注意的是，本方案中PGNN的参数在不同类别支持节点集合之间实现了共享。基于改进的Prototypical Network论文，我们提出了一个具有层次化的，全局图特征的加权P-GNN layer的模型参数。
Hierarchical Graph Representation Framework Gate Mechanism（graph-level层次图表示的门控机制）
本研究旨在构建一个从级别1到R的层级结构，即h_1^R，并通过聚合器将提取的表示信息进行聚合，以调节原型网络中的参数。
(a)中的PGNN设计仅包含一个全局共享的参数ϕ。然而，不同图具有独特的拓扑特征，这促使作者未为每个图单独定制全局共享信息。这种图特定定制的信息进一步通过门控机制与PGNN的参数进行整合。
整体上借鉴了 DiffPool 的方法分两步进行
Node Assignment： Node Assignment 后节点数量不变，变化的是节点的特征。
Representation Fusion：
进一步，需要将该graph-specific的h_i整合到PGNN的参数ϕ中。从理论角度来看，作者采用了门控机制与点乘操作来激活ϕ的不同维度，在实践层面，这主要是为了确保h_i与ϕ的维度保持一致。
- Auxiliary Graph Reconstruction(辅助图)
- 这一核心环节通过图自编码器对图中的节点进行重构，从而有效提升训练过程的稳定性，同时显著增强节点表示的质量。
- 引入该损失函数的作用在于在此基础上进一步提升训练的稳定性和节点表征的质量。
在GFL框架中，自适应方法将从现有图中，通过探索节点间和图间的关系结构，应用到新图中。在节点层，GFL关注不同节点之间的关系结构。以上图为例，对于每个类别K，其相关的关系结构通过支持集S_i^k进行构建。同时，使用一个原型GNN网络PGNN来学习原型表示。在基于图结构方面，GFL学习图的表示信息，并确认相似图间拥有相似知识的迁移能力。
算法描述
3、实验
实验目的有三：
验证所提出的方法*(GFL)***的有效性;
验证所提出的Graph Structured Prototype和Hierarchical Graph Representation Gate在有效性方面的表现;
验证能够为每个类别提供更优的特征表达能力。
数据集
本研究采用了四种不同类型的图数据集集合，其中包括Collaboration、Reddit、Citation和Pubmed这四个具有代表性的数据集。这些数据集的具体信息将在后续章节中详细说明。
实验结果
整体表现
实验对三种主要方法进行了对比分析：第一种是基于图的半监督学习方法，第二种是图表示学习方法，第三种是迁移学习/小样本学习方法。通过实验结果，我们可以看出该方法具有显著的效果。
消融实验
作者将论文涉及的三个模块进行了划分，对每个模块进行了深入分析和替换，实验结果从表中可以清晰看出，进一步验证了方法的有效性。
参数敏感性分析
本实验涉及了四个关键问题进行探讨：第一部分涉及了支持集的规模问题，第二部分聚焦于图邻接矩阵构建过程中的阈值设定，第三部分探讨了不同相似度度量方法的应用，第四部分分析了损失函数中所采用的距离度量方法。
节点可视化
通过对比本文方法与Protonet方法的性能，结果显示本文方法在对两类样本点的划分上更加清晰，且能够更准确地区分这两类样本点。
4、小结
这篇论文通过三个创新模块构建了半监督节点分类模型。在基于度量的few-shot学习方法基础上，融合了局部和全局层次的信息。本文的亮点在于，它在结合过程中进行了深入的思考和创新，并且消融实验设计得非常完善。
知识蒸馏
非S_T框架，是从辅助图中获取的知识
| Method | Purpose | Graph Type | Knowledge Type | Distance Metric | Graph Embedding |
|---|---|---|---|---|---|
| GFL | Few-shot learing | GNN | Class of nodes | Frobenius norm | Diff Poll[1] |
这一篇论文本质上就是Prototypical Network[2] 的一个改进。他的改进主要集中在以下三个方面：
在构造每个类的原型向量时，我们采用了P-GNN模型。此外，我们采用了分层次的、全局图特征加权的P-GNN layer结构。这使得对每一批采样出来的episode的图数据进行建模时，P-GNN能够体现出显著的差异性。因此，P-GNN模型是特定于图结构数据的。换句话说，P-GNN能够很好地捕捉图数据的全局特征。
5、参考
精选自2020年顶会的8篇小样本学习研究综述及代码解析
Meta-Learning: 基于知识迁移的图结构小样本学习 (Graph Few-shot Learning via Knowledge Transfer)
Graph-based Few-shot learning paradigm through Knowledge transfer mechanism
[1] 2018年NeurIPS会议层次化图表示学习：基于可微聚类的方法
GNN
[2]2017 NIPS Prototypical Networks for Few-shot Learning
这篇论文提出了一种基于prototypical网络的少样本学习方法，该方法通过将训练样本划分为不同的类别 prototype来实现对新类别的快速分类。与传统的基于距离的分类方法不同，prototypical网络通过在类别 prototype之间进行对比来确定测试样本的类别归属。这种基于 prototype 的学习框架不仅能够有效减少对训练数据的依赖，还能够提高分类的准确性和效率。实验结果表明，该方法在多个标准数据集上均表现出色，证明了其在少样本学习任务中的有效性。
《Prototypical Networks for Few-shot Learning》阅读笔记
Prototypical Networks for Few-shot Learning是一种在监督学习中利用少量示例进行分类的模型。该方法通过构建类别 prototype来代表每一种类别，从而实现对新样本的快速分类。与传统的基于深度学习的方法相比，prototypical networks在计算效率上具有显著优势。该模型特别适用于数据标注成本高、训练集规模有限的场景，能够有效提升分类性能。通过将新样本映射到最近的 prototype类别，prototypical networks实现了高效的分类任务。该方法在计算机视觉领域展现出广泛的应用潜力，特别是在需要快速推理的场景中表现出色。