Question Answering on Freebase via Relation Extraction and Textual Evidence论文笔记
文章目录
-
摘要
-
引言
-
Method
-
Inference on Freebase
-
-
Entity Linking
-
Relation Extraction
-
- MCCNNs for Relation Classification
-
- Syntactic Features
-
Sentential Features
- Objective Function and Learning
-
Joint Entity Linking & Relation Extraction
-
- learning
- Features
-
- Entity Clues
-
Relation Clues
-
Answer Clues
-
-
Inference on Wikipedia
-
- Finding Evidence from Wikipedia
- Refinement Model
- Lexical Features
-
Experiments
-
-
result
-
Error analysis
-
- 关系抽取
- 实体链接
- 问题分解
-
Limitations
-
-
结论
Question Answering on Freebase via Relation Extraction and Textual Evidence
ACL（2016）
摘要
现有的基于知识的问答系统往往依赖于小样本的训练数据。虽然浅层方法（如关系抽取）对数据稀缺性具有鲁棒性，但它们的表现力不如语义分析等深层含义表示方法，因此无法解决涉及多个约束的问题。在这里，我们通过使用Wikipedia的附加信息增强关系抽取方法来缓解这个问题。我们首先提出了一个基于神经网络的关联抽取器来从Freebase中检索候选答案，然后通过Wikipedia进行推理来验证这些答案。在WebQuestions问答数据集上的实验表明，该方法的F1值为53.3%，大大提高了现有的水平。
引言
信息检索的方法会遇到很多的困难，比如：
然而，处理涉及多个实体和关系的组合问题仍然是一个挑战。考虑一下：what mountain is the highest in north america么。由于缺乏对highest的复杂表示，关系提取方法通常适用于all the mountains in North America。要选择正确的答案，你必须检索所有的山的高度，并按降序排序，然后选择第一个答案。我们提出了一种基于文本佐证的方法，可以在不隐式求解数学函数的情况下回答这些问题。
Method
具体来说，首先执行实体链接来识别问题中的主题实体及其可能的freebase实体。然后使用关系提取器来预测freebase中问题实体和答案实体的潜在关系。随后，对实体链接和关系提取结果执行联合推理步骤，以找到最佳实体关系配置，从而生成候选答案实体列表。在第2步中，通过应用一个答案优化模型来优化这些候选答案，该模型考虑主题实体的Wikipedia页面，过滤出错误的答案并选择正确的答案。
受Bao等人（2014）的启发，我们设计了一种基于依存树的方法来处理这种多关系问题。首先使用附录中列出的句法模式将原始问题分解为一组子问题。通过将其所有子问题的答案集相交得到原问题的最终答案。这些子问题在Freebase和Wikipedia上分别回答。
Inference on Freebase
Entity Linking
对于每个问题，我们使用人工构建的词类序列来识别所有可能的命名实体提及范围，在每个阶段，使用实体链接工具S-MART2（Yang and Chang，2015）从Freebase中检索前5个主题。
这些实体被视为候选实体，最终在联合推理步骤中被消除。对于给定的提及范围，S-MART首先通过字面匹配检索Freebase的所有可能实体，然后使用统计模型对它们进行排序，该模型根据实体出现的字面形式的频率计数进行训练。
Relation Extraction
MCCNNs for Relation Classification
Syntactic Features
我们使用实体提到和问题词之间依赖树(Stanford CoreNLP dependency parser (Manning et al., 2014).)的最短路径作为第一个通道的输入。与Xu et al.（2015）类似，将路径视为单词向量、依赖边缘方向和依赖标签的串联，并将其输入到卷积层。需要注意的是，实体提及和疑问词被排除在依赖路径之外，以便在句法层面上学习更一般的关系表示。如图2所示，who和shaq之间的依赖路径是←dobj–play–nsubj→。
Sentential Features
该通道以句子中的单词作为输入，不包括问题词和实体提及。如图2所示，did、first、play和for的向量被输入这个通道。
Objective Function and Learning
利用训练数据中的问题对及其对应的gold关系来学习模型。给定一个输入问题x和一个带注释的实体，网络输出一个向量o(x)，其中条目o_k(x)是实体和预期答案之间存在第k个关系的概率。
Joint Entity Linking & Relation Extraction
实体链接和关系提取的pipline可能会发生错误累积。正如我们所知，实体和关系有很强的选择偏好，即某些实体不会与某些关系一起出现，反之亦然。局部优化模型无法利用这些隐含的双向关系。因此，我们使用联合模型从局部预测中寻找全局最优的实体关系分配。其核心思想是从两个局部模型和知识库中提取各种线索，使一个正确的实体关系赋值排序高于其他组合。
learning
假设该对(e_{gold}，r_{gold})代表问题q的gold实体/关系对。 我们对q进行所有实体和关系预测，从q创建实体和关系对{(e_0,r_0),(e_1,r_1),...,(e_n,r_n)}的列表，并使用SVM对它们进行排序（Joachims，2006），经过训练可以预测每对的等级。
创建包含排序输入对的训练数据，如下所示：如果e_{pred}=e_{gold}和r_{pred}=r_{gold}，我们将其赋值为3。如果只有实体或关系等于黄金实体或关系，我们给2分（鼓励部分重叠）。当题目和关系题都错了，我们给1分。
Features
对于给定的实体关系对，我们提取以下特征作为输入向量传递给上面的SVM ranker：
Entity Clues
- 实体链接系统返回的预测实体的分数作为特征.
- 实体提及和实体的Freebase名称之间重叠的单词数也作为一个特征。
- 计算给定问题和实体描述之间的内容词重叠，并将其作为一个特征。
Relation Clues
- MCCNNs返回的关系得分作为特征。
- 使用其单词相对于关系的tf-idf分数之和作为特征。
- 使用指示符功能来指示问题中是否出现了第三片段（此处为父母）的文本形式。
Answer Clues
以上两个特征类表示局部特征。构建三元组(e,r,?)，来检索答案。一种这样的特征是基于直觉来使用答案类型和疑问词的共现，直觉是疑问词通常指示答案类型，例如，疑问词何时通常指示答案类型.DateTime。另一个功能是检索到的答案实体的数量。
Inference on Wikipedia
使用上面步骤中的最佳排序实体关系对从Freebase中检索候选答案。在这一步中，我们使用Wikipedia作为非结构化知识资源来验证这些答案。
我们的优化模型是受人们如何优化答案的直觉启发。 如果您问一个人：Shaq首先是谁玩的，并给他们四个候选答案（洛杉矶湖人队，波士顿凯尔特人队，奥兰多魔术队和迈阿密热火队）以及对Wikipedia的访问权，那么那个人可能会首先确定问题是关于 Shaquille O’Neal，然后转到O’Neal的Wikipedia页面，并搜索包含候选答案作为证据的句子。通过分析这些句子，可以弄清楚应试者的答案是否正确。
Finding Evidence from Wikipedia
We search for the sentences containing the candidate answer entities retrieved from Freebase.
Refinement Model
我们将求精过程视为候选答案的二元分类任务，即校正（正）和不正确（负）答案。为细化模型准备了如下的训练数据:在训练数据集上，首先在Freebase上检索候选答案。然后使用这些问题的gold答案和Wikipedia创建训练数据。具体来说，将包含正确/错误答案的句子视为改进模型的正/负示例。我们使用LIBSVM（Chang and Lin，2011）来学习分类权重。
Lexical Features
关于LIBSVM中使用的特征，我们使用从问题和Wikipedia句子中提取的以下词汇特征。 形式上，给定一个问题q=
Experiments
result
- Structured + Joint. In this method instead of the above pipeline, we perform joint EL and RE as described in Joint Entity Linking & Relation Extraction.
- Structured+Unstructured. We use the pipelined EL and RE along with inference on Wikipedia as described in Inference on Wikipedia.
- Structured + Joint + Unstructured. This is our main model. We perform inference on Freebase using joint EL and RE, and then inference on Wikipedia to validate the results.
Error analysis
Around 15% of the errors are caused by incorrect entity linking, and around 50% of the errors are due to incorrect relation predictions.
关系抽取
- 上下文不够。
- 关系的不平衡分布
实体链接
即使发现正确的提及范围，约有80％的实体链接错误是由于不正确的实体预测引起的。
问题分解
分解子问题出现错误。
Limitations
尽管我们的非结构化推理在某种程度上解决了代表性问题，但我们仍然无法对组合问题进行建模，例如谁是威廉王子的父亲的母亲，涉及多跳关系等等。目前关于非结构化数据可以为问题提供证据的假设可能仅适用于频繁键入的查询或适用于电影，政治和地理等热门领域。
结论
我们提出了一种既能根据结构化数据，也能从非结构化数据中推断答案的方法。我们的实验表明，非结构化推理有助于减轻结构化推理中的表征问题。我们还介绍了一种使用MCCNN的关系抽取方法，该方法除了可以利用句子特征外，还可以利用句法。我们的主要模型使用联合实体链接和关系抽取以及非结构化推理，在WebQuestions数据集上实现了最新的结果。该方法的一个潜在应用是利用搜索引擎检索到的文档来改进知识库的问答。