Aspect-based Sentiment Analysis with Type-aware Graph Convolutional Networks and Layer Ensemble 阅读笔记

1.Introducton

本文选自第2021年 held于NAACL会议的一篇论文。在该论文中,作者阐述了基于复杂层次结构设计的类型感知图卷积神经网络模型(T-GCN)。该模型通过多层次架构实现对不同类型节点特征的有效捕捉。

2.Model

2.1 Type-aware Graph Construction

本部分内容主要阐述了如何构建类型感知图的相关知识。我们认识到，在以往的研究文献中，研究者们主要聚焦于词语之间的依存关系，并未能充分重视词语间的关系类型。如果仅仅重视依存关系而忽视其他关联方式，则可能导致模型在识别词语之间关联重要性方面出现偏差。本文详细介绍了该类图谱构建的具体步骤和方法

首先：通过一些现有的工具包，从而获得依赖结果

。

其次：作者使用了

作为领接矩阵来存放

和

的依赖关系，如果

和

之间有依赖关系那么

的值为1，否则为0。用

来存放

和

的依赖关系类型，每一种依赖关系都对应了不同的值。

最后：为了利用关系类型，作者利用了一个转变矩阵将

映射为

。

具体构造过程以及模型大概如下图所示。

2.2 T-GCN

在模型的主要组件中，作者构建了一个由L层构成的T-GCN网络结构，并且在每一层中的图边设计上进行了专门化处理。

首先，我们知道，对于

和

在每一条边上，我们已经获取了各节点间关系类型的数值编码。并在此处将该关系类型数值与节点的潜在状态进行关联。实现了。

和

。

随后，作者将计算的值带入到了权重计算公式

，得到了权重

。之后通过一个可训练的矩阵

，将

“融入”隐藏状态中

。

最后，作者将计算的权重还有隐藏状态的值带入到了图卷积公式中。

得到了下一层i的隐藏状态的值。

ps：这里的

指的是当前需要计算隐藏状态的词的下标，

值得是这个句子中词的下标。

具体的模型运作过程如下图所示。

2.3 Attentive Layer Ensemble

我们提出了一种基于注意力机制的多层集成系统学习方法，以便于实现T-GCN层的能力。

首先，作者将每一层的输出的隐藏状态的向量进行一个平均

，得到

。随后通过一个加权平均得到最后的结果

。

2.4 Encoding and Decoding with T-GCN

对于编码，作者是介绍了两种不同的编码的方式。

1.是将句子

作为输入放到编码器中

，最后得到初始的隐藏向量。

2.是将句子-方面对作为输入放到编码器中，得到初始的隐藏向量。

对于解码，作者先将T-GCN的输出放入一个全连接层

，最后再对得到的结果做一个softmax得到最后的情感结果。

3.Experiments

实验结果：

模型比较：

消融实验：

4.Conclusion

本文中 作者提出了一种基于图卷积网络（T-GCN）的设计方案用于亚语义分析（ABSA）。其中 输入图构建于 输入句子 的语法依存关系模型之上 具体而言 对于 每个词 言 本文 采用注意力机制对 T-GCN 中相关边进行加权融合 同时 还设计了多层注意力机制以整合不同层次的信息从而提升模型的整体表现。通过广泛的实验研究 我们发现该方法在标准测试集上均展现出超越现有算法的优势