文本分类:TextCNN
发布时间
阅读量:
阅读量
目录
一、模型
二、损失函数
一、模型

1、输入向量
是句子中第i个字的k维向量,如果句子有n个字,则句子的向量表示为n个字向量的拼接向量:

2、卷积层
使用长度为h个字符的过滤器f,f是一个非线性函数例如双曲正切tanh函数,获取卷积层特征:

卷积层向量为[c1,c2,c3,...,c(n-h+1)].
3、池化层
池化层的目的是获取过滤器的最重要特征:

4、分类
多分类任务采用softmax激活函数,获得输入变量在每个类别的概率值。

二、损失函数
分类问题通常采用交叉熵损失函数,计算两种概率分布差异,数值越小,预测的概率分布和真实概率分布差异越小。
二分类问题,交叉熵损失函数为:

多分类问题,交叉熵损失函数如下,其中k是种类数量,y是标签,如果类别是i,则yi=1,否则为0.

参考文献:
《Convolutional Neural Networks for Sentence Classification》
全部评论 (0)
还没有任何评论哟~
