Advertisement

文本分类:TextCNN

阅读量:

目录

一、模型

二、损失函数


一、模型

1、输入向量
是句子中第i个字的k维向量,如果句子有n个字,则句子的向量表示为n个字向量的拼接向量:

2、卷积层

使用长度为h个字符的过滤器f,f是一个非线性函数例如双曲正切tanh函数,获取卷积层特征:

卷积层向量为[c1,c2,c3,...,c(n-h+1)].

3、池化层

池化层的目的是获取过滤器的最重要特征:

4、分类

多分类任务采用softmax激活函数,获得输入变量在每个类别的概率值。

二、损失函数

分类问题通常采用交叉熵损失函数,计算两种概率分布差异,数值越小,预测的概率分布和真实概率分布差异越小。

二分类问题,交叉熵损失函数为:

多分类问题,交叉熵损失函数如下,其中k是种类数量,y是标签,如果类别是i,则yi=1,否则为0.

参考文献:

《Convolutional Neural Networks for Sentence Classification》

全部评论 (0)

还没有任何评论哟~