论文阅读笔记：A Unified Model for Opinion Target Extraction and Target Sentiment Prediction

本文发表于AAAI-2019会议期间，并由腾讯AI实验室主导开展研究项目与香港中文大学进行深度合作。该研究主要通过优化基础序列标注技术来显著提升了模型在识别用户评价中的目标和情感倾向方面的性能。

摘要

基于意见目标的情感分析(TBSA)涉及到了意见目标抽取 和目标情感预测 两个子任务。目前的工作主要是将他们作为两个单独的任务来研究，对于实际应用的贡献是非常有限的。这篇文章的目标在于以一种端到端的方式来解决完整的TBSA任务。为了实现这个目标，本文提出了一个新的统一模型 并在模型中采用了一种联合的标注方案 。整个模型用到了两层循环神经网络(RNN) ：上层的RNN用来预测联合的标签 ，这些标签会作为主要任务TBSA的输出 ；为了引导上层的RNN更好的完成TBSA任务，本文引入了下层的RNN来同时解决辅助任务--意见目标实体的边界检测 。RNN产生的边界特征表示可以直接用于提升目标情感预测的质量。为了探索任务之间的依赖，本文提出显式地对目标边界到目标情感极性的转换进行约束。本文也设计了一个组件对同一个意见目标内的情感一致性进行维持 ，这个组件主要基于门控制机制来对上一个时刻的特征和当前时刻的特征之间的关系进行建模。本文在三个标准数据集上进行了大量实验，结果表明本文的方法都比现有的方法更好。

Introduction

该情感分析任务旨在识别涉及的目标及其情感极性。例如，“USB3 Peripherals 明显比 ThunderBolt ones 便宜”。其中，“USB3 Peripherals” 和 “ThunderBolt ones” 是涉及的目标实体，在这两个实体上分别对应 positive 和 negative 情感类别。该任务可划分为两个子任务：一是意见实体抽取（即实体识别），二是情感分类。很多研究者专注于其中一个子任务。

在TBSA任务领域中，还有些研究者致力于对整个任务进行系统性研究。主要采用两种方法：第一种方法是将两个子任务进行联合训练，并分别使用了双标签体系。(例如BIES标签体系和POS/NEG/NEU标签体系)，其中BIESO分别代表目标实体的起始、中间、结束标记以及单词目标标记和非实体标记。第二种方法则忽略了两个子任务之间的边界，并采用了特殊的多标签标注方案。其中BIESO分别代表目标实体的起始、中间、结束标记以及单词目标标记和非实体标记；而每个位置上都设置了四种情感类别(B—{POS,NEG,NEU}, I—{POS,NEG,NEU}, E—{POS,NEG,NEU}, S—{POS,NEG,NEU})。

在本文研究中，探讨构建一种架构以整合统一的技术框架，并用于探索应对该问题；经过测试，在三个典型场景中展现出显著性能。

Our Proposed Framework

Task Definition

该文章将其将TBSA任务视为一个序列标注任务，并采用了以下标签集合：YS等于{B−POS；I−POS；E−POS；S−POS；B−NEG；I−NEG；E−NEG；S－NEG＝？？？等等}。具体来说,输入为

输出为预测标注序列：

Model Description

模型的整体架构如图所示, 其中包含两个嵌套层状结构化的LSTM网络以及三种独特的模块设计。这些模块具体包括以下三种类型: 首先是基于边界的特征信息辅助完成整体模型的一致注释任务; 其次是针对多语种构成的目标项应保持一致的情感倾向性特征; 最后则通过引入情感标签强化目标项与相关情绪表达的一致性

Target Boundary Guided TBSA

利用带有Softmax分类的LSTM模型来进行多类别情感分析任务的研究与实现过程中，在模型构建阶段需要考虑如何有效地利用有限的信息资源以提高模型性能。具体而言，在训练数据集中我们发现可以通过对样本进行适当的预处理以及优化算法参数等手段显著提升模型效果。在此基础上我们设计了一种新的特征提取方法并将其成功应用于实际场景中的情感分析任务取得了较为理想的效果

随后分别采用softmax进行推导；该公式基于深层LSTM模型对其进行分类处理，并输出边界信息。

下面公式是对上层LSTM进行分类，得到整体的标签：

下面采用边界标签作为调整工具用于整体优化。本文构建了一种特定维度的过渡矩阵（5×13尺寸），其值设定原则如下：当所选边界标淮与统一目标不一致时，则其值设为0；若两者一致，则该情况下的概率即为所求。

然后利用边界信息和过度矩阵得到统一标注的标签：

该问题的核心在于评估基于边界的标签与长短期记忆网络（LSTM）模型推导出的标签在最终结果中的占比权重。直观上而言，在边界信息呈现均匀分布的情况下，则由此产生的统一标签也将呈现均匀分布的状态。为了防止出现这种情况带来的负面影响，在模型设计中需要引入一个比例系数来衡量这种影响程度

然后利用以下公式得到最后的统一标注 ：

Maintaining Sentiment Consistency

传统的情感分类任务中

Auxiliary Target Word Detection

通过强化边界信息 ，提出了一个增强意见模块。鉴于意见词与目标通常同时出现 ，基于此我们假设：当某个词汇在预设范围内的前后文中出现了情感标记时 ，我们就将其认定为目标词汇；进而构建了一个辅助 tokenize 分类模型以识别这些词汇是否为目标词汇。

Model Training

该论文采用交叉熵损失函数作为其损失函数。其中代价函数包含三个主要组成部分：一是底层 LSTM 负责进行边界标注任务；二是上一层 LSTM 负责实现统一标注任务；三是并最终承担辅助边界分类的任务。

Experiments

Dataset

此模型经过两个产品评论数据集以及推特上的评论测试，在第一部分中展示了SemEval 2014下的笔记本评论内容，在第二部分则呈现了SemEval ABSA挑战赛中2014至2016年的饭店评论样本，在第三部分展示了推特上的评论情况。各项评估指标包括准确率、召回率以及F1值等关键性能参数。

Compared Models

对比的模型和实验结果如下图所示：

为了检测本文提出的三个组件的性能，并对消融测试进行了评估。具体实例通过基础模型和完整模型的处理效果展示了该方法的优势。