论文阅读笔记-Attention-Based Personalized Encoder-Decoder Model for Local Citation Recommendation

论文链接：Attention-Based Personalized Encoder-Decoder Model for Local Citation Recommendation (hindawi.com)

2019年发表在Computational Intelligence and Neuroscience期刊，期刊中文名为《计算智能和神经科学》。

摘要：随着科学论文数量的急剧增长，研究人员不得不花费太多的时间和精力来寻找他们想要的合适的论文。提供基于文本段的参考文献列表的局部引文建议可以缓解这个问题。现有的局部引文推荐方法大都集中在如何缩小科技论文与引文上下文文本内容之间的语义差异，而完全忽略了其他信息。受机器翻译中成功使用的编码器-解码器框架的启发，我们开发了一个基于注意机制的编码器-解码器(attention-based encoder-decoder,AED)模型用于局部引文推荐。提出的AED模型在注意机制中集成了期刊会议信息和作者信息，学习了引文上下文和科技论文这两个文本对象的变长文本之间的关系。具体来说，我们首先构造一个编码器，将引用上下文表示为低维空间中的向量；在此基础上，构建了融合期刊会议信息和作者信息的注意机制，并利用RNN构造解码器，然后将解码器的输出映射到一个softmax层，对科学论文进行评分。最后，我们选择得分较高的论文，生成推荐参考论文列表。我们在DBLP和ACL Anthology Network (AAN)数据集上进行了实验，结果表明，该方法的性能优于其他三种最先进的方法。

方法：

1.编码器

输入引文上下文中n个单词的词向量拼接，通过卷积和池化操作获得引文上下文特征向量表示sj。

公式（1）中W为卷积核参数矩阵，oi为第i个输出特征图，o^为将所有特征图做最大池化拼接后的结果。

2.注意力机制

构建了一个基于引文作者、论文作者和论文地点的注意机制（这里提出注意机制，但是并没有用到注意力机制）

3.解码器

解码器使用GRU解决梯度爆炸或梯度消失问题，把xdi表示为科学论文中第i个词的词嵌入，使用注意力机制学习加权插值ci。

引文推荐

将解码器的输出映射到softmax层，P(yi|y≤i,s)是科学论文中前面所有单词在第i个单词之前的条件概率。

优化

同时使用随机梯度下降(SGD)训练编码器-解码器，并使以下方程最大化:

实验

与其他方法对比

(1) ContextAware Relevance (CAR)模型，该模型是非参数概率模型，用于为给定的文本段推荐参考文献;

(2)神经引文网络(NCN)模型，该模型集成了作者信息，提高了局部引文推荐性能;

(3)翻译检索(TR)模型，缩小了论文内容与引文上下文之间的语义差距。

与自身对比

结论

本文提出了一种基于注意力的本地引文推荐算法(AED)模型;首先构造了一个编码器，在低维空间中将引文上下文表示为向量，然后构造了一个融合期刊会议信息和作者信息的注意机制，并使用RNN构造解码器;最后，它将解码器的输出映射到softmax层，并通过给定的引文上下文、作者信息和地点信息对科学论文进行评分。推荐参考论文列表是根据得分较高的科学论文生成的。我们在DBLP和ACL Anthology Network (AAN)数据集上进行了实验，结果表明，基于AED的方法性能优于其他三种基线方法。