读论文——Does syntax matter？ A strong baseline for Aspect-based Sentiment Analysis with RoBERTa

第一遍

标题及作者（2021 4.11）

摘要

1. 以往的研究表明，在自然语言处理领域中基于语义分析的任务（Semantic Textual Simulation, STS）通常依赖于一些特定的策略来捕捉语义相似性。然而，在这些策略中存在一个局限性：它们无法直接处理复杂的跨语言检索系统（Cross-Language Retrieval, CLR）中的多模态数据。
2. 针对上述问题的解决方案在于：首先明确当前的技术手段难以满足多模态检索的需求；其次需要探索一种能够同时处理多种数据类型的高效方法；最后还需要建立一个能够适应不同语言环境的通用框架。
3. 通过对现有方法进行改进和优化后发现：在经过微调优化后（fine-tuning），RoBERTa Induced Tree这一模型在情感分析任务中展现出更强的优势（superiority）。具体而言，在经过训练后该模型不仅能够更好地识别情感倾向（sentiment orientation），而且在复杂语境下的推理能力也得到了显著提升（improvement）。

结论

1. 本文探讨了多种适用于ALSC任务的树状结构，在涵盖由parser生成的依赖关系以及由PTMs诱导形成的树状结构的基础上展开研究。
2. 基于原始蛋白质相互作用模式（PTMs）及其在ALSC微调过程中的应用，在四个主要语言的数据集中进行了评估，并基于三种不同的适用于ALSC任务的树状架构进行了实验验证。

介绍

用于ALSC任务的依赖树主要有以下三种类型：第一种类型是基于依赖关系构建的树状结构；第二种类型通过分析节点间的路径长度来确定两个token之间的最小距离；第三种类型则综合考虑依赖关系形成的树状架构与节点间的最短路径。

除了传统的依赖树分析方法之外，在BERT等预训练语言模型中也隐藏着丰富的语法知识。值得注意的是，在这些预训练语言模型中还包含了一些特定的依赖关系结构。

由此引发两个问题：

1. 

PTMs模型还是基于语法树的模型在ALSC任务中更优呢？

2. 

PTMs在微调阶段，会将隐含的树结构调整为适应ALSC任务的树结构吗？

研究结果表明，在使用FT-PTMs诱导的情况下所构建的数据结构能够显著提升基于树结构的ALSC模型在微调前期的表现水平；进一步而言，在RoBERTa生成任务中通过ALSC优化的方法所构建的RoBERTa生成树结构不仅超越了传统依赖解析器生成的方式

本文贡献点：

1. 通过FT-PTMs诱导的树模型表现出良好的性能。
2. 这些FT-PTMs诱导的树更倾向于情感导向特性，并使得相关副词与情感形容词之间建立了直接联系。
3. 研究表明RoBERTa能够适应于ALSC这一框架，并帮助相关副词去发现并提取出相应的情感词汇。

相关工作

不带依赖的ALSC

过去曾应用LSTM、CNN、注意力网络等技术应用于ALSC任务旨在脱离基于树的架构仅通过神经网络进行建模

带依赖的ALSC

1. 从开始人工设定特征、语法树到最近的GNN，具有不错的性能。

基于PTMs的依赖探测

1. 探测预训练模型的语义、语法特性

第二遍

3 方法

3.1 从PTMs中Inducing 树结构

采用扰动掩码方法去生成树结构

3.1.2 Perturbed Masking

函数d定义为f(x_i,x_j)=||H_\theta(\mathbf{x}/ \{x_i,x_j\})_i - H_\theta(\mathbf{x}/ \{x_i,x_j})_i||_2

首先以[MASK]替代{token }中的x_i；随后计算并输出由\mathbf{x}中去掉x_i后的结果；接着再次以[MASK]替代x_j$并计算他们之间的欧几里得距离，以此代表两个token之间的距离。

3.2 基于Tree的ALSC模型

3.2.1 Aspect-specific GCN

将每个词视为节点，并将这些依赖关系视为边；接着利用GCN网络构建基于此的图模型。

3.2.2 邻近加权卷积网络（Proximity-Weighted 卷积网络）

探索关键词及其相关上下文词汇的过程如下：首先基于关键词间的最近邻关系（依赖树之间的最短路径），评估关键词的相关性程度；随后对每个关键词分配其相关性评分。

3.3 关系图注意力网络（Relational Graph Attention Network，RGAT）

将依赖树转换为基于方面词的树结构，在此过程中以方面词作为核心节点，并使各相关词语与其直接相连。各相关词语与其间的关系要么依据句法标注要么基于其在依赖树中的位置关系。

RGAT将赋予与方面词距离为1的句法标记，并负责分配虚拟标记给那些离得较远的词。

4 实验

4.2 树结构

1. 基于spaCy和allenNLP平台所开发出的自动生成机制来实现依赖解析树。
2. 该研究团队利用扰动掩模技术，在预训练模型BERT与RoBERTa的基础上系统性地生成了相应的依赖关系图。
3. 该研究团队利用扰动掩模技术，在经过微调优化后形成的预训练模型BERT与RoBERTa的基础上系统性地生成了相应的依赖关系图。

4.3 实现细节

为了实现FT-PTMs诱导树，本文在ALSC数据中微调BERT和RoBERTa。

Perturbed Masking method

该算法基于Chu–Liu/Edmonds’框架设计用于构建生成树编码模型；在本研究中，我们首先通过逐层构建依赖树来优化模型结构，并通过实验发现，在第11层构建依赖树能够显著提升模型性能。

5. 实验结果

5.2 分析

相邻连接比例

1. 研究表明RoBERTa依赖树拥有更为紧密的连接结构，在ALSC任务中未必具有显著优势，并且多处指向相关名词。
2. 通过FT-RoBERTa构建出一个更具多样性的依赖树体系及其箭头普遍指向关键名词这可能显著提升该任务的表现。

计算方面词和观点词之间的距离

定义为：

A s D\left(S_{i}\right)=\frac{\sum _{w=w _{1}}^{w _{i}} \sum _{C ^{\prime}=S _{i} \cap C }^{C _{i} ^{\prime}} dist\left(C _{i} ^{\prime}, w _{i}\right)}{|w|\cdot |C ^{\prime}|}

其中符号|·|用于表示集合中的元素个数，
并且，

dist(x_i,y_i)

代表节点x_i与y_i在图中的相对距离。

第三遍

小结：

1. 研究者认为，在预训练模型内部已经包含了丰富的语义和句法信息，并且可以通过该模型进行ALSC（自动学习共现）任务的应用。
2. 该文本首先通过微调预训练模型至ALSC任务，并运用Perturbed Masking方法生成依赖树结构来完成ALSC任务。