Advertisement

Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification阅读笔记

阅读量：

Att-BLSTM

Model

模型主要包括五部分:

  1. Input layer
  2. Embedding layer
  3. Lstm layer
  4. Attention layer
  5. Output layer

Word Embedding

没啥好说的…

Bidirectional Network

Bi-LSTM结构, 最后输出

Attention

Attention部分, 先对LSTM输出做非线性激活, 然后计算attention权重.

最终的句表示:

Classifying

损失函数: 加上L2正则的交叉熵

实验

数据集：SemEval-2010；参数设置：分别进行了测试；单词嵌入：分别测试了50维和100维的词向量；优化器：AdaDelta；学习率：比率设为1.0；批量大小：容量设为16；Dropout：在三个位置上分别设置了三个不同的比率（分别为3/4、3/4和5/8）；评估指标：使用宏F-分数进行评估

全部评论 (0)

还没有任何评论哟~

相关文章推荐

Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification阅读笔记

AttBLSTM Model 模型主要包括五部分: 1.Inputlayer 2.Embeddinglayer 3.Lstmlayer 4.Attentionlayer 5.Outputlayer W...

论文浅尝｜《Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification》

导读 这是一篇2016年的ACL论文，题目为《AttentionBasedBidirectionalLongShortTermMemoryNetworksforRelationClassificati...

【读】关系抽取—（1）Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification

学习本无底，前进莫徬徨。 这是一篇RelationClassification相关的paper，出自于中科大自动化所Zhou，AttentionBasedBidirectionalLongShortT...

Bidirectional Long Short-Term Memory Networks for Relation Classification（PACLIC 2015）论文阅读笔记

一、背景 SVM（2010），MVRNN（2012），CNN（2014），FCM（2014），CRCNN（2015），DepNN（2015）。 理论上，RNN可以任意长度的序列进行建模。但由于梯度消失...

论文-阅读理解笔记-Predicting DGA with Long Short-Term Memory Networks

主要贡献： 1）引入一个LSTM网络来预测DGA生成的域，据我们所知，这是第一个深度学习到这个域的应用和深入分析; 2）呈现完整的实验结果，显示使用开放数据集的文献比先前的技术（实时和回顾性）显着改进...

Long Short Term Memory networks (LSTM)

LongShortTermMemorynetworks Abstract 循环神经网络RecurrentNeuralNetworks 长期依赖性问题TheProblemofLongTermDepend...

Sequence-Aware Recommendation with Long-Term and Short-Term Attention Memory Networks（LSAMN）

Time： Author：DaochangChen,RuiZhang,JianzhongQi,BoYuan（清华） Abstract 在电商场景下，一个session里购买的各个商品对于预测下一个购买...

《Hierarchical Attention Networks for Document Classification》阅读笔记

动机： 通过将文档结构知识纳入模型结构，可以获得比之前方法更好的表征； 在应答一个请求时，并不是文档中的所有部分都与之相关，为了确定那些相关的部分，需要对词之间的互动建模，而不是仅对它们的出现单独建模...

Hierarchical Attention Networks for Document Classification阅读笔记

文章目录 模型结构 HierarchicalAttention WordEncoder WordAttention SentenceEncoder SentenceAttention Document...

论文笔记|CCL2016| Event Extraction via Bidirectional Long Short-Term Memory Tensor Neural Network

论文笔记目录 一、简介 二、动机 三、创新 四、方法 五、实验 六、总结 一、简介 CCL2016:EventExtractionviaBidirectionalLongShortTermMemory...