斯坦福 CS224W - 笔记 03

斯坦福 CS224W - 笔记 03

• 半监督节点分类采用标签传播与消息传递结合的方式进行研究。
  • 1. 基本概念
    • 2. 标签传播机制
      • 基于关系的分类方法
      • 迭代优化过程

    • 3. Correct & Smooth

    • 4. 总结

  • 参考资料

---

半监督节点分类：标签传播和消息传递

1. 基本概念

半监督节点分类：其中一部分具有标签信息、另一部分没有标签信息；基于已知类别节点推断未知标签节点

直推式学习 ：预测前后没有新节点加入（标签传播 ）

归纳式学习 ：训练后需要处理新节点，让模型泛化到新节点（GAT、GraphSage）

例如：在社交网络中，自己的类别既取决于自己，也取决于周围人的看法

应用 ：词性标注、OCR、实体统一

直推式标签传播方法基于消息传递机制，在不涉及节点向量化处理的情况下就可实现对自身归属类别的推理判断；其核心特征在于遵循"近朱者赤、近墨者黑"的现象规律；这种现象体现了"物以类聚、人以群分"的社会化认知模式

Homophily ：具有相似属性特征的节点更可能相连且具有相同类别

2. 标签传播

Relational 分类

• 初始化：明确标识为0或1的数据样本作为已知样本（Known Samples），标记为中立值0.5的数据样本作为未知样本（Unknown Samples）
• 按照节点排列顺序依次计算加权平均值
• 随着传播轮数不断增加，在经过足够多传播后系统将逐渐趋近于稳定状态（Stable State）
• 基于阈值判断类别归属（>Threshold: 类别A；<Threshold: 类别B）

• 提醒 ：
• relational 分类不具备收敛性，并且不仅依赖网络连接信息还未考虑节点属性特征

Iterative 分类

基于节点属性特征 f_v 和连接信息 Z_v 的信息被提取用于后续分析。
为了训练两个分类器：第一种仅依赖于节点属性特征；第二种则同时考虑节点属性特征以及网络连接特征（包括邻域节点的类别信息）。
该过程无收敛保障。

3. Correct & Smooth

• 后处理方法

• Brief Propagation（消息传递）
• Masked Label Prediction（自监督）

4. 总结

应对半监督分类任务有很多途径，在现有研究中已经提出了多种解决方案。其中涉及的人工特征工程等技术以及随机游走等方法均被广泛应用于实际场景中。这些方案都属于直推式的范畴，在这种框架下主要依赖已标注数据进行学习训练。值得注意的是，在归纳式学习中仅以图神经网络为例，在归纳式学习中展现出显著优势：它能够迅速预测新节点的嵌入向量。

参考资料

Stanford University CS224W Graph-Based Machine Learning Course - 中文精讲 by 同济子豪兄