《Spectral Clustering with Graph Neural Networks for Graph Pooling》论文阅读报告
该论文探讨了利用谱聚类与图神经网络实现有效的图池化方法，并通过一系列实验验证了其有效性。具体而言，在引言部分中阐述了研究背景及意义；在方法论章节中详细描述了所采用的技术框架及其核心原理；在实验分析中展示了该方法在多个基准数据集上的性能表现；最后在讨论部分对研究工作进行了总结并提出了未来的研究方向。
论文出自ICML 2020
前言
谱聚类（SC）是一种用于在图上识别密集子图的一种常用的技术。它不仅适用于图神经网络（GNNs），还能有效执行将同一簇节点聚合在一起的操作。然而，在使用Laplacian算子时需要付出较高的计算成本，并且其结果具有图属性。基于谱聚类的方法需要对每个新的样本重新进行优化才能发挥作用。
1.论文提出的研究方法
在本文中
2.论文提出方法所解决的问题及重要性
作者提出了基于GNN的架构是可微的，并不依赖于谱分解计算；同时开发出一个能够在外部数据集快速处理聚类函数。通过其提出的方法构建了一个图池算子，在多个有监督与无监督的任务中展示了最佳性能。
3.该文研究（方法、实验）的优点或不足之处
最新的卷积神经网络（CNNs）交错卷积从输入信号中提取局部特征，并通过计算邻近点的局部摘要来减少特征映射的采样率。池化操作有助于CNN去除无用信息以增强对平移不变性的鲁棒性，并通过减少中间表示规模来平衡模型复杂度。
- 作者为了解决Lc出现退化极小值的问题，在实验中促使簇分配达到正交状态，并确保各簇规模尽可能相近。值得注意的是Lo中存在两个具有范数的矩阵，在直观上可以观察到0≤Lo≤2这一特性。因此，在计算过程中无需对Lo、Lc及其相关项进行重新缩放求和即可安全使用它们的总和形式；这样既能有效减少时间和空间成本投入，并将吉纳谷地复杂度降到最低水平；同时也能更加便捷地实现目标；
- 在第五节的实验部分中作者表明MinCutPool在实际应用中并未产生退化解现象但在各类任务测试中始终展现出优异性能表现这是因为MinCutPool计算过程中由于MP操作导致相似节点特征被分配至同一簇的可能性较低；这种机制使得簇更容易包含具有强连接且特征相似性较高的节点从而降低了发现退化解的可能性；此外LC退化极小值会导致输入图信息严重丢失因此在优化任务特定损失函数时模型倾向于避免捕获这些低价值信息而专注于提取关键特征；
- 实验设计部分作者综合考虑了监督与非监督任务的区别并比较了MinCutPool与其他传统谱聚类方法及GNN池化策略之间的异同特点；在此实验场景下作者采用了单层GNN架构以及单层MLP模型来计算评估指标S并基于最小化Lu的方法对整个体系结构进行了优化训练；为了便于比较作者基于DiffPool框架构建了一个类似的GNN架构并对其中辅助DiffPool的损失进行了优化提升
缺点
4.适用于该问题的其他常用方案的不足之处
近日研究发现，在图神经网络领域已取得诸多进展。这些研究主要可分为两类：一类是通过预设拓扑属性构建池化机制，并非预先依赖特定模型；另一类则是借助节点特征学习自适应聚合函数。尽管现有的非预训练方法仅关注于简单地捕捉图的基本拓扑结构而不考虑节点特性的影响，但基于深度学习框架的方法大多依赖于启发式策略。
因此，在无模型方法中（Model-free methods），难以实现针对特定下游任务自适应地进行图的粗化操作；而基于模型的方法虽然理论上具有一定的稳定性保障（stability guarantee），但在简单任务中也可能出现退化解的情况（degenerate solution）。即它们是一种理论上具有依据的设计思路（design principle），能够适应数据特征但仍然存在局限性（limitations），未能达到预期的理想效果（ideal performance）。
5.思考与启示
在之前的课程中学习过，在图论中将带权无向图划分为两个或多个子图，并使这些子图内部尽可能相似的同时保持彼此间距较大以实现聚类目标的方法即为谱聚类算法。针对该算法在图形神经网络（GNN）应用中由于计算Laplacian矩阵特征分解导致的成本过高这一缺陷，在现有研究基础上提出了一种新的图聚类方法以解决上述局限性问题。通过使用基于GNN的模型来计算使目标函数最小化的群集分配过程，并且由于基于GNN的实现具有明确区分度无需进行频谱分解运算即可实现高效的聚类功能并且能够在测试图上快速评估性能表现