Deep Learning for Extreme Multi-label Text Classification阅读笔记
发布时间
阅读量：
阅读量
文章目录
-
概述
-
模型
-
- Dynamic max pooling
- 损失函数
- Hidden Bottleneck layer
-
实验
-
- 参数设置
- 实验结果
概述
Extreme multi-label指的是总的标签数量非常庞大, 达到成千上万甚至数百万级别.
模型
模型是基于text-cnn改进的.
创新点:
- 动态最大池化技术
- 优化了损失函数
- 在pooling层与输出层之间新增了一个瓶颈层，并非但降低了模型的整体规模而且也提高了训练效率。
Dynamic max pooling
text convolutional neural network（TCNN）对每个特征图执行最大池化操作，在池化后仅提取出一个具有代表性的特征。
作者的观点是：这种池化操作在输入文本非常长时会导致大量的信息丢失，并且未能充分考虑词语的位置信息。
对此, 作者采用了Dynamic max pooling方法, 对于每一个feature map进行池化操作后会输出p个特征. 详细说明了操作流程
假设给定一个长度为m的词汇序列S = {s₁, s₂, ..., sₘ}。
将其划分为p个子序列S₁, S₂, ..., Sₚ。
对每个子序列分别应用最大值池化操作后进行拼接。
损失函数
损失函数使用binary cross-entropy, 而不是 softmax cross-entropy
Hidden Bottleneck layer
其实就是在pooling层和ouput层之间加了个全连接
实验
参数设置
- 卷积核尺寸设置:{2,4,8}
- 每组卷积核的数量（即输出通道数）：在小数据集上设置为128个通道，在大数据集上则增加至32个通道
- 应用Dropout正则化技术（概率设为0.5）
- 瓶颈层的输出维度设定为512
实验结果
全部评论 (0)
还没有任何评论哟~