【EMNLP2019】Event Representation Learning Enhanced with External Commonsense Knowledge

p1 in 2019/12/3

标题：基于外部常识信息增强的事件表示学习
作者包括丁效、廖阔、刘挺、段俊文和李忠阳
发表于EMNLP 2019会议
下载位置：https://arxiv.org/pdf/1909.05190.pdf
源码获取：https://github.com/MagiaSN/CommonsenseERL_EMNLP_2019
参考笔记：https://www.jiqizhixin.com/articles/2019-09-16-9

Abstact

• 以前的方法：通过分析文本语法与语义特征，并在下游应用领域（如脚本事件预测）中对其有效性进行了验证。
• 以前方法的缺陷：受限于直接提取模式（仅凭表面特征无法有效区分细微差别），其局限性主要源于缺少关键背景知识。
• 本文提出的方法：基于外部知识库整合以全面解析事件意图与情感色彩。
• 实验数据集设置包括：
  • 事件相似性分析
  • 脚本事件预测研究
  • 股票市场行为预测测试

Commonsense Knowledge Enhanced Event Representations

2.1 Low-Rank Tensor for Event Embedding

事件三元组E=(A, P, O)的目标在于学习一种低维稠密向量表达，在此框架下P代表动作或谓词,A代表行为人或主语,O代表行为对象或宾语.该模型将这些项的表示进行整合以构建相应的向量空间关系.本文借鉴了Ding等人的研究工作,并采用张量神经网络（Neural Tensor Network, NTN）作为事件表示模型.NTN的具体架构已在图3中展示.

该模型采用双线性变换法进行建模，并明确地构建了谓语与主语之间的关系、谓体与宾体之间的联系以及三者之间的互动模式。具体公式如下：

其他参数采用了标准前馈神经网络架构，并由权重矩阵W1以及偏置参数b共同构成。该方法中的权值向量W1通过非线性激活函数tanh完成信息传递，并最终输出结果。值得注意的是该方法的主要问题是"维度灾难"现象，在实际应用中容易导致模型过拟合等问题出现。
为了应对这一挑战本文提出采用低秩张量分解技术模拟高阶张量结构以有效降低模型参数规模从而提高计算效率与泛化性能。
具体而言低秩张量分解的过程如图4所示文中采用[Tappr]1方法对原始张量T1进行近似其中每个切片的计算均基于特定优化准则完成。

在训练数据集中出现的每个事件中，在不改变其基本含义的情况下，在其中一个位置（即"论文"）随机插入一个新的替代词以模拟潜在语义变化的情景下，在不改变其基本含义的情况下，在其中一个位置（即"论文"）随机插入一个新的替代词以模拟潜在语义变化的情景下

其中ve是事件向量表示的一种表现形式，
而ver则代表对事件进行成分替代后的向量形式。
同时，
g(ve)即用于评估事件价值的指标，
其计算方式如下：

2.2 Intent Embedding

在此基础上，针对训练集中的每一个事件样本，在对其人工标记的基础上确定其对应的真实意图。随后，在所有可能的意图选项中进行随机选取以获得一个错误选项。基于此设定认为其对应的正确意图得分显著高于错误意图得分。具体而言我们通过双向LSTM模型获得意图文本的向量表示并基于这些向量计算与事件样本之间的余弦相似度作为评分依据进而采用合页损失函数进行优化计算

其中，vi为正确意图的向量表示，vir为替换事件成分后的向量表示。

2.3 Sentiment Embedding

在训练数据集中，在每个时间点上，在每个事件发生时，在每个样本中，在每个时刻点上，在每个场景下，在每个状态下，在每一轮实验中，在每一次迭代过程中，在每一个子任务里，在每一步处理阶段中，在每一个节点上进行操作时

在本研究中，在训练数据集E中定义了三个关键变量：gold-level 情感强度标记plg(xe)，以及模型预测出的情感强度标记pl(xe)。

2.4 Joint Event, Intent and Sentiment Embedding

最终的优化目标为三部分损失的加权和：

模型的整理架构如图2所示：
（融合意图、情感信息的事件表示模型架构）

注：所有下标为neg的，均为负样本

Experiments

3.2 Event Similarity Evaluation

该研究对基于Hard Similarity和Transitive Sentence Similarity的两个关键任务进行了比较分析模型与基线方法的效果。

该Hard Similarity任务由Weber等人于2018年提出，并旨在比较不同基于词嵌入的方法在构建同类与异类样本之间的区分能力。具体而言，在同类对比组中所选实例具有较高的语义相似度但几乎没有共同词汇；而在异类对比组中所选实例则存在显著的词汇重叠但语义差异较大。针对每一种基于词嵌入的方法，在实验数据集上我们采用余弦相似度指标计算每一对实例之间的相似程度，并将模型评估指标设定为区分同类与异类样本的能力。

Transitive Sentence-Similarity 数据集（Kartsaklis 和 Sadrzadeh, 2014）包含 108 对事件，并且每个事件对均带有人工标注的相似度评分。本文采用了 Spearman 相关系数来评估模型计算出的相似度与人工标注的一致性程度。

表1 事件相似度实验结果

两个任务的结果如表1所示。本文研究表明：
(1) 词向量均值方法在Transitive SentenceSimilarity任务中表现出优异效果，在Hard Similarity任务中的表现则明显欠佳。这一差异主要源于HardSimilarity数据集的独特设计——专门用于区分"重叠词较多但语义不相似"与"重叠词较少但语义相似"的情形。由此可见，在这一领域中，词向量均值方法难以捕捉事件论元间的交互作用机制因而未能取得理想效果。
(2) 基于Tensor 组合的NTN、KGEB、RoleFactor Tensor及Predicate Tensor模型显著优于加性模型Comp.NN与EM Comp.表明基于Tensor组合的方法能够更有效地建模事件论元间的语义组合关系。
(3) 本文提出的常识知识增强型事件表示方法在两个数据集上的实验结果显示较基线方法分别实现了78%与200%的增长（表2）。这表明常识知识对于提升事件区分能力具有重要意义

表2 加入常识信息前后事件相似度变化

3.3 Script Event Prediction

脚本事件预测（Chambers与Jurafsky, 2008）的任务被定义为：基于前后文信息，在候选事件集合中识别出最可能发生的后续事件。本研究在标准化的MCNC数据集（Granroth-Wilding与Clark, 2016）上评估了所提出方法的有效性。为了模仿人类认知过程，在现有研究的基础上我们进行了改进：即采用一种新的事件表示机制取代传统的SGNN架构中的这一模块。实验结果显示，在单一模态条件下我们的方法提升了约1.5%，而通过集成多模态表示获得了一点改进（提升了约1.4%）。这表明引入更为精细的事件表征策略能够显著提升预测性能。进一步分析表明，在单一模态条件下仅引入意图表征就可获得显著优势（仅引入意图表征显著优于其他基准方案），这说明成功捕获参与者意图信息有助于推断其后续行为模式。此外，在仅依赖情感表征的情况下也获得了比原始SGNN更好的效果（情感表征同样展现出不错的效果），这主要得益于前后情境间情感一致性能够辅助预测后续行为特征。

表3 脚本事件预测实验结果

3.4 Stock Market Prediction

前人的研究研究表明新闻事件对股价涨跌幅具有显著影响（Luss与d’Aspremont, 2012）。本研究通过对比不同事件表示方法作为特征变量来预测股市涨跌幅。实验证明，在分析股票市场走势的任务中，利用事件中的情感信息能够显著提高模型性能（实验结果表明提升了约2.4%）。

图5 股市预测实验结果

Conclusion

使计算机对事件有充分的理解，则需将常识信息整合于其表征过程之中。
高质量的表征机制在多个下游应用领域中发挥着关键作用。
本文提出了一种简洁有效的框架用于处理意图与情感类知识，并将其整合进事物流程中。
通过针对事物相似性分析、脚本式预测以及股市走势分析的实验研究发现，在提升事物流程质量的同时还能为后续应用提供支持。

References

• Erik Cambria, Soujanya Poria, Devamanyu Hazarika, and Kenneth Kwok. 2018. Senticnet 5: discovering conceptual primitives for sentiment analysis by means of context embeddings. In Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence, (AAAI-18), the 30th innovative Applications of Artificial Intelligence(IAAI-18), and the 8th AAAI Symposium on Educational Advances in Artificial Intelligence (EAAI-18), New Orleans, Louisiana, USA, February 2-7, 2018.
• Nathanael Chambers and Dan Jurafsky. 2008. Unsupervised learning of narrative event chains. In Proceedings of ACL-08: HLT,pages 789–797. Association for Computational Linguistics.
• Xiao Ding, Yue Zhang, Ting Liu, and Junwen Duan. 2014. Using structured events to predict stock price movement: An empirical investigation. In Proceedings of the 2014 Conference on Empirical Methods inNaturalLanguageProcessing,EMNLP2014,October 25-29, 2014, Doha, Qatar, A meeting of SIGDAT, a Special Interest Group of the ACL, pages 1415–1425, Doha, Qatar. Association for Computational Linguistics.
• Hannah Rashkin, Maarten Sap, Emily Allaway, Noah A. Smith, and Yejin Choi. 2018. Event2mind: Commonsense inference on events, intents, and reactions. In Proceedings of the 56th Annual MeetingoftheAssociationforComputationalLinguistics (Volume 1: Long Papers), pages 463–473. Association for Computational Linguistics.
• Zhongyang Li, Xiao Ding, and Ting Liu. 2018b. Generating reasonable and diversified story ending using sequence to sequence model with adversarial training. In Proceedings of the 27th International Conference on Computational Linguistics, pages 1033– 1043, Santa Fe, New Mexico, USA. Association for Computational Linguistics.