论文笔记 | An End-to-End Deep Framework for Answer Triggering with a Novel Group-Level Objective
作者：李瑾
单位：燕山大学
论文出处：https://www.aclweb.org/anthology/D17-1131.pdf
代码存储位置：https://github.com/jiez-osu/answer-triggering
目录
-
研究背景
-
研究方法
2.1 模型框架
2.2 组级目标函数 -
实验与评估
3.1 数据集
3.2 实验结果 -
总结
1. 研究背景
现实世界中的问答场景中，并非所有问题都具备能够支撑相关问题的回答方案的有效性。随着2015年WiKiQA数据集发布的同时，该系统首次引入了答案触发这一功能。
问题可被划分为两大核心环节：首先是基于模型的候选回答排序过程；其次是检验候选回答是否包含真实信息这两项关键步骤。
先前的研究基于pipelining的技术对这一问题进行了探索,但所得模型的表现尚可接受,其F1得分维持在32%-36%区间内。本研究则提出了一种完整的端到端响应触发机制
2. 研究方法
本文采用基于端到端的深度模型架构，并采用新的目标函数作为惩罚项针对答案触发问题进行建模。
2.1 模型框架
模型由三个部分组成：编码层、问答匹配层和最大池化层。
其中：
- 不同网络架构可以根据具体目标进行选择。
- 问答匹配层将问题与候选答案进行连接并输入到前向神经网络中。
- 该层通过最大池化机制对同一答案的候选集进行处理，在此过程中预测标签为正和负的答案被分别归类到互不重叠的两个子集中。
2.2 组级目标函数
作者提出了新的目标函数惩罚机制来促使模型作出正确的选择。
在所有被分类为负类的样本集合中，最大的相似度值将通过最大幅度的损失进行惩罚（即hinge loss）。数学上可表示为：
O_{1}=\frac{1}{N_{neg}}\sum_{i:l_{i}=0}^{}max(0,d^{-}-(0.5 - m_{i}^{-}))
O₂旨在赋予在一组正确答案中最高得分不足以充分表示答案存在的变量以更高的惩罚权重。该公式具体定义为：
O_{2}=\frac{1}{N_{pos}}\sum_{i:l_{i}=1}^{}max(0,d^{+}-(m_{i}^{+} - 0.5))
-
O3是作为针对错误候选答案获得最高分情况而实施的处罚措施。公式如下：
O_3 = \frac{1}{N_{pos}} \sum\limits_{\substack{i: l_i=1}} \max(0, d^\pm - (m_i^+ - m_i^-))- 整体公式如下：
O = O_{1} + \alpha O_{2} + \beta O_{3} + \lambda \left \| \theta \right \|^{2}
- 整体公式如下：
其中，在预测标记为正类的候选答案中找到的最大得分为m_{i}^{+}；而在错误标记中找到的最大得分为m_{i}^{-}；而d^{+}、d^{-}以及d^{\pm }则分别表示不同类型的间距参数。
3. 实验与评估
3.1 数据集
实验采用WiKiQA数据集,数据集信息如下：
3.2 实验结果
消融实验
总结
开发出一种深度学习驱动的全自动化系统来应对答案触发问题的研究与实现。
该系统通过设计一个新的多层次评价标准来优化整个框架性能。
(I) 误报率
(II) 假阴性预测中是否能确保存在正确答案
(III) 错误回答可能排在正确回答之上影响最终判断结果