基于深度学习的文本分类综述
《Deep Learning Based Text Classification: A Comprehensive Review》摘要综述
1.序章
以深度学习为理论支撑的文本分类体系在多维度的任务场景中展现了卓越的表现力与适应性。系统梳理了超过150种不同的深度学习模型，并对其进行了细致的归纳总结；同时重点阐述了几大典型模型的设计思路与实现机制：涵盖前馈神经网络基础架构、基于循环神经网络的语言建模方法、卷积神经网络特征提取策略以及注意力机制引入后的性能提升方式等；此外还深入探讨了混合型模型的优势与局限性，并对其在网络信息处理中的应用前景进行了展望。
2.深度学习模型
论文回顾了150余种模型后，在依据体系结构将这些模型进行了分类。
在NLP领域中的一项重要突破是注意力机制的发展：通过这种机制能够高效地识别出文本中的特定词汇位置或内容焦点。这里的"注意力"一词也可以理解为"专注"的意思，在特定语境下聚焦于某个特定区域或元素的能力。
transformers理论自2017年谷歌发布《Attention is all you need》论文起就受到了广泛关注并推动了NLP技术的进步：其核心优势在于克服了传统RNN训练速度较慢的问题，并通过自注意力机制实现了并行处理能力。随后BERT等预训练语言模型以及基于BERT改进而来的各种变体应运而生。
在自然语言处理领域中还有一种独特的建模方法——图神经网络（GNN），它特别关注于捕捉自然语言内部存在的复杂图状结构关系例如语法树或语义分析图等语义信息。
最后一种研究方向则是混合架构：通过结合注意力机制、RNN、CNN等多种模块化技术能够在一定程度上同时捕捉到句子的局部特征和全局语义信息从而实现更为全面的理解能力与表达能力。
2.1.基于前馈神经网络的模型
这些模型将输入文本划分为一个个单独的词，并对每个词都通过预训练的嵌入模型（如Word2Vec或GloVe）生成其对应的向量表示。随后将上述计算得到的结果依次传递至一个或多层全连接层（全连接网络），即MLP结构中，并对其求和或取平均值作为整个文本的表征。最后利用逻辑回归、Naive Bayes分类器或其他支持的方法对MLP输出的结果进行分类判断。
2.2.基于RNN的模型
采用循环神经网络（RNN）模型将输入文本表示为有序单词序列，并致力于提取用于文本分类的关键单词依赖关系以及整体语义结构。然而，在这种简单的RNN架构中存在明显缺陷：虽然普通RNN能够捕捉到一定程度的上下文信息，在处理长距离依赖关系时容易出现性能瓶颈。为此,LSTM模型通过设计了一个内存单元来存储跨越不同时间步的信息，并通过三重机制（输入门、输出门、遗忘门）对信息流动进行精细调控,从而有效解决了传统RNN面临的速度限制问题,实现了更好的训练效果和预测性能。
2.3.基于CNN的模型
RNNs在处理长期语义关系的关键自然语言处理任务中表现出色,而CNNs则擅长识别固定位置及其周围的局部模式.因此,基于其强大的特征提取能力,CNNs已逐渐成为文本分类领域中最受关注的架构之一.
2.4.注意力机制
注意力是由我们如何将视觉关注集中于图像的不同区域或句子中的相关关键词所决定的。简单来说，在语言模型中定义的关注度可以被视为一个重要的权重向量。为了预测句子中的某个词，在使用了这些权重之后就能够计算出该词与其他词或"注意"之间的相关程度，并将各相关项的加权分值总和视为目标预测的概率估计依据。
2.5.Transformers
序列处理能力是RNNs面临的一个显著挑战。相比之下,CNNs在序列处理能力上相对较小,但随着句子长度的增长,词与词之间关系的理解成本也在不断上升,这与RNNs面临的困境具有相似性。而Transformer则成功突破了这一限制,通过将注意力机制应用于并行计算每个单词的同时,还引入了一个"注意力分数",这种分数模拟了单个单词对其他单词的影响范围和程度。这种机制不仅允许Transformer实现比CNN和RNN更高的并行度,而且为在GPU集群上高效训练大规模预参数模型奠定了基础。
从2018年起,一种基于Transformer架构的语言模型大规模预训练研究开始蓬勃发展起来。这些基于Transformer构建的语言模型通常采用更为复杂的网络架构,并在海量规模的语言数据语料库上进行系统性的预训练工作,其核心目标是通过预测每个位置周围的语义信息来生成语言模型。这种预训练过程虽然属于无监督学习范畴,但在微调阶段则被转化为有监督的学习任务,从而实现了对下游NLP任务的高度适应性提升。
值得注意的是,尽管预训练过程本身是一个无监督的学习机制,但其微调阶段却采用了有监督的方式进行优化调整。
2.6.基于GNN的模型
尽管自然语言文本具有顺序性特征，并非仅仅依赖于这种线性排列所决定的意义提取方式；然而，在这种复杂多维的信息组织形式下还隐藏着丰富的句法与语义关联结构。这些结构通过构建句法与语义分析树等手段得以显式表达并被系统加以利用。
2.6.混合模型
为了融合LSTM与CNN的体系架构以识别句子及文档中的局部与全局特征，已有诸多混合模型被开发出来。