【论文阅读】Entity and Evidence Guided Relation Extraction for DocRED
发布时间
阅读量：
阅读量
摘要
将所有实体依次放置在文档的前面部分。对于包含N个实体的句子，则需要构建相应的序列。例如，在这种情况下,H表示头实体,D表示文档: [CLS]+H+[SEP]+D+[SEP].
通过H的嵌入进行平均处理后得到了实体对应的嵌入 h。对尾实体进行嵌入处理后定位到其所在的位置并再次取平均得到了对应的嵌入 t_k。
获取了头实体和尾实体的所有嵌入表示，并将其输入至双线性层中进行处理。经过sigmoid激活处理后, 从而推导出蕴含关系的存在
定义了多标签的交叉熵损失函数
在实体证据预测任务中（Entity Evidence Prediction），我们假设每个类别关系r_i都是通过随机初始化得到的一个嵌入向量。此外利用双线性函数结合sigmoid激活函数作为生成该类别关系证据的基础模型架构其中第j个句子s_j被用作表示第i类关系证据
在Bert模型中具有较高注意力权重的区域通常是支持证据的部分，并能有效辅助证据预测过程。研究者通过访问bert模型中第l层之前的中间表示来推断其证据预测能力。同样地，则采用了双线性变换机制，并经过sigmoid函数进行归一化处理以增强预测效果。其中,a_{sk}是我们平均了所有头实体和尾实体所对应的注意力权重后的embedding表示,f_k则是在给定头尾实体时分别计算出句子embedding与关系embedding之后再进行融合得到的结果向量。
定义证据预测的loss：
作者把关系抽取和证据预测两个任务，作为多任务学习来训练，loss是：
全部评论 (0)
还没有任何评论哟~