4 Interactive Attention Networks for Aspect-Level Sentiment Classification（IJCAI2017）
论文4
Interactive Attention Networks for Aspect-Level Sentiment Classification（IJCAI20 17）
1 介绍
文章贡献：
在本文中，认为目标和情境都可以单独建模，需要通过交互学习来学习它们自己的表现形式。在此基础上，提出了交互式注意网络(interactive attention networks, IAN)，实现了目标和语境的注意交互学习，并分别生成目标和语境的注意表征。
提出的模型：基于长短时记忆网络(LSTM)和注意机制的交互式注意网络(IAN)模型。情感分类网络利用与目标相关的注意机制从上下文中获取重要信息，并计算上下文表示来进行情感分类。此外，网络利用上下文的交互信息监督目标的建模，这有助于判断情感。最后，将目标表示和上下文表示连接起来，IAN预测了目标在其上下文中的情感极性。
文章创新点来源：
（1）以往研究注意到了目标词的重要性，通过生成目标特定的表示来精确建模它们的上下文。然而，这些研究往往忽略了对目标的单独建模，特别是在上下文的帮助下。
（2）对于如何同时精确地建模目标和上下文，首先，目标和上下文可以确定彼此的表示形式。例如，当我们看到目标“画面质量”时，语境词“清晰”自然与目标相关联。反之亦然，“画面质量”首先与“清晰度”相联系。在这种情况下，我们认为目标和情境可以单独建模，但可以从它们的交互作用中学习。第二，我们的常识是，语境是由许多词组成的。其实，目标也不仅仅局限于一个字。无论是目标语还是语境，不同的词语对最终表征的影响可能不同。因此，我们首先提出目标和上下文都应该计算它们的注意权值来分别捕获它们的重要信息。
2 模型
单词嵌入层：
上下文n个词：
，目标m个词：
单词嵌入：将每个单词嵌入到一个低维实值向量中。词的嵌入可以看作是神经网络的参数，也可以看作是通过语言模型从适当的语料库中预先训练出来的。
， 
LSTM隐藏层：
得到上下文语境的隐藏状态：
得到目标的隐藏状态：
上下文和目标的初始表征：
注意力层：
将上下文与目标的表征分别送入注意力层，考虑目标对语境的影响和语境对目标的影响，
，
是一个分数函数，计算上下文中
，
的重要性。
得到目标与上下文的表征：
最后，目标表示法和上下文表示法被连接成一个向量d作为分类器。这里，我们使用一个非线性层将d投射到目标3类的空间中。
3 训练模型
需要训练优化的参数：
损失函数：
gi是真实值，用one-hot编码，yi是每个类的概率值，
反向传播计算梯度并更新参数：
dropout:p=0.5
4 实验
实验设置：
数据集：SemEval2014
词嵌入向量：Glove
所有词汇表外的单词都是通过从均匀分布U(-0.1,0.1)中采样来初始化的，所有的权矩阵都是通过均匀分布U(-0.1,0.1)抽样得到其初始值，所有的偏差都被设为零。单词嵌入、注意向量和LSTM隐藏状态的维数设为300，正则化L2系数设为10^-5,
训练集与测试集，实验结果：
IAN使用了两个相互影响的相互连接的注意网络来模拟目标和语境。通过这种设计，我们可以很好地学习目标和上下文的表示，它们的搭配有助于方面级情感分类。从表2可以看出，在这些方法中，目标是逐步强调的。对目标的关注越多，系统的精度越高。这也为我们今后进一步研究目标的建模提供了启发。
5 模型分析
No-Target：只采用一个带有注意机制的LSTM网络对上下文进行建模，忽略目标的建模。注意向量是通过目标词嵌入的平均值，与上下文词经过LSTM的输出进行计算的。
No-Interaction：在没有任何交互作用的情况下，目标和上下文分别通过LSTM层，注意力层，学习得到各自的表征。
Target2Content：通过两个LSTM层学习目标词和上下文词，分别得到表征，但只考虑目标词表征对上下文注意的作用，即对目标未用注意力机制。
IAN：Target2Content与IAN的不同就是IAN在对目标建模时也用到了注意力机制。
无交互模型的表现效果最差，说明目标和内容之间的交互作用对于生成更好的表征来预测目标情感起着重要作用。它的结果也比No-Target差，这可能是因为局部注意产生的目标表征效果不如目标信息通过注意监督学习内容表征的影响重要。Target2Content优于No-Interaction，不如IAN。与IAN相比，它只通过LSTM网络学习目标表示，而不受上下文的监督。而上下文和目标可以相互影响。这意味着目标和内容之间的交互对目标情感极性的分类是至关重要的，而单向的关注对最终的表示是不够的。IAN模型充分考虑了目标的影响以及目标与上下文的交互作用，从而对目标情感分类做出了贡献。
6 总结
IAN的主要思想是利用两个注意网络对目标和内容进行交互建模。该模型能够密切关注目标和上下文中的重要部分，很好地生成目标和上下文的表示。该方法能够学习目标和内容的有效特征，为判断目标情感极性提供足够的信息。案例研究也表明，IAN能够合理地注意到对判断对象情感极性有重要意义的词语。