【论文笔记】Attention，please！A survey of neural attention models in deep learning

Attention mechanisms

• Soft attention（global attention）：Soft attention会确认输入数据的每个element的权重，这个值决定了需要放多大的注意在当前element上，Soft attention的计算考虑了深度学习模型的输入以及目标。weight的范围是0~1。
• Hard attention（local attention）：Hard attention考虑的是这个元素被看见or忽略，取值只有0或1，不可微
• Self-attention（intra-attention）：self-attention量化了输入数据之间的相互依赖性。

Attention-based Convolutional Neural Networks

• DCN attention pool：用attention代替传统CNN的pooling层；
• DCN attention input：这里的attention是输入数据的一个过滤，将低权重分配给无关的部分，高权重分配给相关领域；
• DCN attention layer：attention放在卷积层之间；
• DCN attention prediction：attention机制直接辅助最后的预测过程；
• DCN residual attention：从feature maps里提取信息，并通过残差结构和下一层产生链接；
• DCN attention out：attention捕捉对于其他同样架构或者其他实例较为重要的信息。

Attention-based Recurrent Neural Networks（RNNs）

• Recurrent attention input：attention选择基本特征
• Recurrent memory attention：计算历史权重的部分
• Recurrent hidden attention：attention选择分类信息到解码部分

Attention-based Generative Models

• Autoencoder input attention：提供了与给定输入的所有部件相对于的空间掩码，对自动编码器的每个组件进行单独的建模；
• Autoencoder memory attention：attention作为一个层在encoder-decoder之间增强memory；
• Autoencoder attention encoder-decoder：一个完全的attentive architecture作为编码器或者解码器，或者两者都有。