【论文笔记】Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme
目录
-
-
摘要
-
1 介绍
-
2 问题定义
-
-
- 2.1 基线 : 标签约束
-
-
2.2 图约束
-
3 方法
-
-
- 3.1 转换系统
-
-
3.2. 搜索算法
-
3.3. 组合函数
-
4 实验
-
-
- 4.1 数据集
-
-
4.2 实验结果
-
总结
-
摘要
实体识别与关系识别均可借助联合执行技术，在此过程中各任务间能够相互纠正对方的错误。目前主流的多数联合方法都各自独立地完成实体识别与关系识别，并基于参数共享机制实现整体学习目标；然而这种模式会使得输出结果中的实体信息与关联信息之间缺乏足够的关联性。在本文中我们提出了一种基于图论的方法将各任务整合到同一个框架下构建有向图模型随后采用协同解码策略以提升整体性能；这种方法不仅能够有效建模实体间的潜在关联还能够进一步挖掘各类型间的关系网络从而提高模型的整体表现能力
1 介绍
传统的处理模式将关系抽取任务分解为实体识别与关系提取两个子任务。然而，在这种分割性处理下忽视了两者的内在联系。通过联合提取策略整合信息后，在该领域取得了显著成果。现有研究主要围绕基于统计特征的方法与神经网络架构展开。其中统计模型的表现高度依赖于复杂的特征工程设计；而神经网络架构则多采用分层设计策略以提高学习效率。尽管如此，在实际应用中发现其性能仍存在明显局限性
针对上述问题现有方法主要呈现出两种改进方向：一是采用显式标记的方式；另一种则是探索基于统一标记框架的联合学习方法
为此作者提出了一种基于图论的统一框架并采用转换解析法进行建模求解。这种方法不仅能够有效建模实体间的关系还能够深入刻画各实体间的深层语义联系
本文的主要贡献总结如下
- 开发了一种直观的方法来综合表征实体及其关联，在此过程中使得在端到端的关系提取过程中能够方便地将其转化为类似于解析任务的形式。
- 研发了一种新型的转换体系用于生成有向图的同时构建了一款特别的递归神经网络模型，并以此为基础实现了更为精准的关系建模机制。
研究者在纽约时报 (NYT) 语料库上展开了实验研究，并通过实验证明该方法胜过了现有的end-to-end技术。
2 问题定义
2.1 基线 : 标签约束
Zheng et al.将联合抽取任务建模为序列标签问题，并提出了创新性的标注策略以区分主语和表语实体及其关联关系。图2展示了该标注方案的一个典型示例。其中"O"标签表示对应的词独立于提取的主要实体及其关联关系而存在。除了"O"标签外，在实体及其关联关系中还设置了三类标签：具体位置信息、关联关系类型以及关联关系作用者标识符（即实体间的关联）。其中"BIES"（Begin, Inside, End, Single）符号被用来表示某个词在其实体中的位置信息。“1"号标识符代表该词属于第一个相关实体,"2"号标识符则代表该词属于第二个相关实体（如图2所示）。基于此创新性标注框架,Zheng et al.构建了一个基于偏置损失函数的端到端序列标记模型以实现对命名实体及关联关系的识别与分类任务求解。然而该方法存在一定的局限性：例如在图1所示的一句话中包含了三个独立的关系结构,其中每一个主语都能与两个谓语构成两个独立的关系但在此标注框架下只能提取出一种有效的关联关系模式
2.2 图约束
该研究者将实体及其关联转换为有向图而非标签序列
3 方法
3.1 转换系统
以元组的形式表示每个状态时（σ, δ, e, β, R, E），其中σ代表处理过的实体堆栈；δ暂存从σ中弹出但随后会重新压入的实体；e是部分实体块存储的堆栈；β则是未被处理的单词缓冲区；R构成一组关系弧；E则是一组建立于实体之间的连接弧。其中索引i分别对应词wi和对应的ei。A则用于记录动作的历史轨迹。
图3展示了图1语句的状态转换过程。初始状态为 ([ ], [ ], [ ], [1, …, n], ∅, ∅)，而终止状态则为 (σ, δ, [ ], [ ], R, E)。其中的具体转换动作主要依赖于预设的转换规则以及解码阶段神经网络分类器的支持。如需进一步了解相关内容，请参考原文。
3.2. 搜索算法
如图 3 所示，时间 t 时的模型状态表示，记为 mt，定义为：
其中W代表一个训练得到参数矩阵，在模型关系中被用来描述某种函数关系；σ被表征为st形式；β以bt的形式出现；δ由pt表征；e通过et来表达；A由at决定；d是一个标量偏置项
模型状态 mt 用于计算时间 t 时的候选动作的概率为：
由此可以得出
其中 E^*代表输出实体集合，在提取过程中将实体和关系整合到一个基于转换机制的系统中。R^*代表关系集合，在提取过程中将实体和关系整合到一个基于转换机制的系统中。
3.3. 组合函数
- Entity Chunks : 当执行GEN-NER(y) 时, 算法通过将 e 上的单词序列作为单个完整块移动至 β 的顶部来处理该序列. 在计算该序列的嵌⼊层时, 算法在其组成词以及块类型上采用了双向LSTM结构.
- Relation Labels：给定⼀个从head节点指向modifier节点的有向关系 弧, 组合成 head-modifier 和 modifier-head 两种组合, 并使⽤这些组合分别用于更新 head节点和modifier节点的embedding.
为减少组合函数所需处理的参数量
4 实验
4.1 数据集
该NYT数据集被作者使用，并由远程监督机制生成了若干个三元组；其中测试集部分包含了人工标注的3880条数据；只有当一个三元组的关系类型及其关联实体均准确无误时，结果才算正确。
4.2 实验结果
该研究者将当前的方法与其他前沿的特征提取方案进行了对比分析，并指出这些方案主要可分为三类：管道式架构、联合提取方案以及端到端学习架构。其中管道式架构主要包括DS-logistic回归、LINE模型以及模糊聚类算法（FCM）；联合提取方案则涉及DS-Joint框架、Multi-Rank排序算法以及多模态对齐技术（Co-Type）；而基于LSTM-LSTM-BiAttention的架构构成了当前最成熟的端到端学习框架
结果 ：如表4所示，在所有基准模型上均展现出显著提升。该方法较现有的最佳联合提取技术提升了4.6个单位，并在现有最佳端到端序列标记技术上实现了1.4个单位的进步。这些成果充分证明了该模型在建模框架及实体与关系预测方面的有效性。多任务学习采用的联合策略显著优于传统的管道式架构；而端到端架构超越了大多数联合策略。这一研究结果凸显了集成解码策略的重要价值；通过整合实体间及关系间的相互依赖性进行优化。
针对研究Bi-LSTM表示效果及其联合提取能力的需求，在此进行了一项系统性消融实验。在评估Bi-LSTM的影响时，则直接将标记化的输入向量注入到上述的状态表示架构中。在评估联合提取效果时，则仅通过将生成的关系弧的原始向量与其对应的关系向量连接的方式更新每个实体的表示。如表5所示，在上述策略基础上进行优化后模型的F1值大幅下降。这一结果表明，在捕捉更为丰富的上下文信息方面以及实体与关系向量的表现上均具有重要意义。
此外还可以通过该方法获取远距离实体之间的关系如表6所示同时该方法还具有识别重叠关系的能力与LSTM-LSTM-Bias方法不同作者所述的转换系统能够处理多个headhead或tail节点从而使该方法更适合这种情况
总结
作者开发了一种利用转换机制进行实体和关系联合抽取的方法。
与现有神经网络方法相比，
该方法不仅能够捕捉实体间以及实体与关系间的潜在依赖关系，
并且也能捕捉到复杂的关系间的潜在依赖结构。
实验结果表明，
在纽约时报（NYT）数据集上测试后，
该模型展现出目前最优的性能水平。