《Aspect-Level Sentiment Analysis Via Convolution over Dependency Tree》阅读笔记
《Aspect-Level Sentiment Analysis Via Convolution over Dependency Tree基于依赖树卷积的方面级情感分析》阅读笔记
1.摘要
该系统构建了一个以依赖树卷积为核心的面向级情感分析体系，在这种架构下将神经网络的作用机制嵌入其中成为解决问题的关键路径。传统的模型往往侧重于通过神经网络的强大表达能力来解决ABSA问题，在这种背景下现有研究大多集中于关注句子级别的表示学习而忽视了词语级别的语义关系提取这一重要环节。为此研究者发现现有方法难以有效捕捉长距离依存关系这一局限性并提出了一种基于深度学习的情感分析框架以弥补这一缺陷
2. 介绍
ABSA包括两个子任务，本文重点研究方面级情感分类任务。
依赖树：
依赖树减少了主语和谓语之间的距离，并识别了词语间的连接方式，承担了不同传播途径的任务。
此外，依赖树类似于图形的结构，可以在上面是用图卷积网络（GCN）。
该模型基于依赖树结构构建了一个卷积神经网络模型。该模型通过依赖树结构整合了图卷积网络（GCN）进行语义建模。其中节点嵌入层采用双向长短期记忆单元（BiLSTM）进行初始化
基于已有研究发现，在分析复杂文本时
3.模型
模型接收输入形式为依赖树的数据结构，并随后对该依赖树应用词向量生成技术。随后利用双层循环神经网络捕获语义信息并初始化节点表示；接着使用图卷积网络进一步提升节点表示的质量；对于GCN生成的节点表示结果提取指定词项对应的特征向量并执行平均池化操作；最后将获取的特征向量用于监督分类任务
BI-LSTM
基于（α,s）这一对关系式的基础上，针对输入形式为 X = {x₁, x₂,…,xₙ} 的文本信息进行处理后所获得的结果是：经过处理后获得了相应的字嵌入序列 S = {s₁, s₂,…,sₙ} ，其中每个元素都是d维向量，并且同时获得了相应的方面词嵌入序列 Alpha = {α₁, α₂,…,α_l} ，其索引范围为1到l。
经过正向的LSTM后得到：
经过反向的LSTM后得到：
合并后得到双向的LSTM：
其中包含了方面项的表示：
图卷积网络
我们可以将依赖树视作一个包含n个节点的图G...其中每个节点代表句中一个特定的单词而每条边则记录了这些单词间的句法依存关系我们使用BI-LSTM模型来初始化这些节点的信息随后利用GCN模型直接处理这个图从而构建起词与词之间依存关系的模型
注：为了使GCN能够有效地建模节点嵌入，我们允许G具有自循环。
任意句子的语法依存结构可以用一个 n×n 的邻接矩阵 A 来表示，在这个矩阵中符号 A ij 表示节点i到节点j之间的单向连接情况。当数值为1时，则表示i到j存在依存关系；当数值为0时，则表示i到j之间无依存关系。
GCN主要依靠依赖路径来进行在路径之间的转换与信息传递，并通过信息的聚合与传播来不断更新节点嵌入，在这一过程中GCN仅考虑节点的一阶邻域特性。然而，在连续进行k次GCN运算后，在k阶邻域内会进行信息的传播与扩散。对于单个节点的嵌入更新而言，则遵循以下形式：
其中 h_j^{(k)} 表示 GCN 在第 k 层节点 j 处的状态向量；其对应的偏移量为 b^{(k)}；权重矩阵由 W^{(k)} 组成；归一化系数 c_i 赋予了模型所需的标准化特性。
di 表示图的度数。
h i(k+1) 表示的是节点 i 在第 k 层的输出。
聚合器
使用平均池来聚合方面向量上的信息
模型训练
将最后得到的方面级向量表示 h α(k+1) 输入到一个softmax层中进行处理后, 生成不同情绪极性的概率表示
该模型通过反向传播进行端到端的训练，目的是最小化损失函数。
其中D被视为由（方面-句子）组成的集合；C被视为情感相关的集合。变量_y_c((α, s))_代表了相应方面的实际情感状态；而变量_y_c((α, s))_则代表了预测的情感状态。
4.实验
训练集：
实验结果：
GCN层数对实验结果的影响：
