论文阅读总结（Graph Convolutional Networks for Text Classification）

Graph-based Convolutional Neural Networks applied to Text Classification

值得进一步了解的是这篇研究论文：《探讨文档自身结构的特性：基于图神经网络的归纳型文本分类方法》

摘要

如图1所示：TextGCN概览，在异构图中，粗黑色线条连接文档与词之间的关系；细灰色线条则连接词与词之间的关联；其中标记为O的内容表示文档节点；R(x)表示节点x对应的向量嵌入。

确定图结构：节点特征矩阵X基于one-hot编码是一个单位矩阵I。随后对图的邻接矩阵实施了权重赋值。

词对i，j的PMI值计算方法为：

其中，在文档中通过滑动窗口检测共现情况。符号**W(i,j)**表示节点i和j共同出现的滑动窗口数量；**W(i)**表示节点i出现的滑动窗口数量；而**W**代表总的滑动窗口数目。当**PMI**值为正时，则表明这两个词之间存在共现关系；当**PMI**值为负时，则表明这两个词之间不存在共现关系。因此，在构建网络模型时，默认只将具有正向关联性的词对连接起来。

研究工作：研究者基于TextGCN和多个模型，在五个公开的数据集中成功地进行了对比实验，并展示了结果。

可见前四个数据集TextGCN的准确率最高，在MR的数据集中，则未表现出显著的效果。

实验结果分析 ：

1. 作者总结了TextGCN的accuracy较好的原因：

• 基于TextGCN架构设计，在构建过程中形成的文本图具备捕捉文档与词语之间相互作用的能力；

  • 该结构通过其设计原理中的拉普拉斯平滑特性，在信息传播过程中将每个文档 node 的特征信息通过其直接相连的一阶邻接 node 进行传递；从而使得词语 node 能够整合来自所有直接相连 document 的特征信息，并在整体网络中起到连接作用；最终实现其特征信息在整个网络中的传播扩散。
  2. TextGCN在MR数据集发挥效果不佳的原因：

• GCN的网络结构导致了词序的忽视（这在情感分析中具有显著影响）；

  • MR数据集规模较小，其边数量显著低于其他图类数据集中的文本图谱；
    因此，在节点间信息传播方面存在一定的局限性；
    总结和展望：
    本文作者提出了一种两层GCN网络模型用于text classification任务，并取得了较好的实验效果。
    这是首个尝试将GCN应用于文本分类研究的方案。
    然而该模型仍存在一些局限性：GCN架构难以迅速生成节点嵌入表示以及难以预测未见文档内容。
    这些方案主要包含引入归纳机制或采用fastGCN等改进架构。
    未来的研究方向包括：探索引入注意力机制的可能性；以及开发无监督学习下的text-based GCN框架。

AAI 2019 论文解读：卷积神经网络的进一步发展
研究综述：图卷积网络在文本分类中的应用阅读笔记
门控图序列神经网络研究进展：《门控图序列神经网络》阅读笔记
推荐系统：SR-GNN架构解析（涵盖GNN与GGNN相关技术）
论文研读总结：基于图卷积模型的文本分类研究