【理解】end-to-end And sequence-to-sequence
发布时间
阅读量:
阅读量
1.end-to-end
端到端:输入和输出之间不需要其他的操作
2. sequence-to-sequence
【NLP论文笔记】Sequence to Sequence Learning with Neural Networks - 简书
Sequence to Sequence模型理解 - 程序员大本营
[Seq2Seq Attention输入输出维度分析(最全面细致)_前行的zhu的博客-博客]( "Seq2Seq Attention输入输出维度分析最全面细致_前行的zhu的博客-博客")

重点:
- LSTM的优势在于处理序列,它可以将上文包含的信息保存在隐藏状态中,这样就提高了算法对于上下文的理解能力。
- Encoder的输出会被抛弃,我们只需要保留隐藏状态作为下一次encoder的状态输入。
- Encoder的最后一轮输出状态会与Decoder的输入组合在一起,共同作为Decoder的输入。
- Decoder的第一个输入是
<S>,这是我们指定的一个特殊字符,它用来告诉Decoder,你该开始输出信息了。 - 末尾的
<E>也是我们指定的特殊字符,它告诉我们,句子已经要结束了,不用再运行了


全部评论 (0)
还没有任何评论哟~
