NLP篇1 概览

场景：假设给你一篇文章。

目标：说白了，就是数学的分类。但是如何实现分类呢。下面将逐步一 一 分析与拆解。先把目标定好了和整体框架定好了。而不是只见树木而不见森林。

情感分类（好评、差评，中性）

整体框架：

训练集就是语料库。

文本预处理就是分词。如jieba hanlp 庖丁解牛

特征提取 就是转换为向量的数学表达形式。1、词袋模型--one-hot模型 2、TF-IDF文本特征提取

3、深度学习 神经网络的 word2vec。

其实就是语料库→向量结构化的数据→分类器（深度学习 分类）

训练集→【文本预处理→特征提取】→可以计算机读取数学公式的文本表示→分类

中文分词：

常见的中文分词方法：

1、基于词典的方法：

• 正向最大匹配法：从左到右依次取词，与词典进行匹配，找到最长匹配的词。
• 逆向最大匹配法：从右到左依次取词，与词典进行匹配。

2、基于统计的方法：

• 隐马尔可夫模型（HMM）：通过统计词与词之间的出现频率和上下文关系来进行分词。
• 条件随机场（CRF）：考虑了更复杂的特征和上下文信息。

3、基于机器学习的方法：

• 支持向量机（SVM）：将文本转化为特征向量，通过训练分类器来进行分词。
• NB模型、随机森林模型

4. 基于深度学习的分词方法（也更先进）：近年来，深度学习在NLP领域取得了显著进展，基于深度学习的分词方法也逐渐成为研究热点。这些方法通过神经网络模型（如循环神经网络RNN、长短期记忆网络LSTM、Transformer等）学习汉字的上下文信息，进而实现分词。

• 神经网络方法：如循环神经网络（RNN）、长短时记忆网络（LSTM）、卷积神经网络（CNN）等，能够自动学习文本的特征和模式。

评估大模型通常有以下一些指标：

1. 准确性：模型预测结果与实际结果的相符程度。
2. 召回率和精确率：用于评估在特定任务中，模型正确识别正例的能力。
3. F1 分数：综合考虑了精确率和召回率。
4. 均方误差（MSE）和均方根误差（RMSE）：常用于回归问题，衡量预测值与真实值的偏差。
5. 平均绝对误差（MAE）：反映预测值与真实值的平均绝对偏差。
6. 混淆矩阵：用于多分类问题，清晰展示各类别的预测正确和错误情况。
7. 交叉验证得分：通过多种划分数据集的方式进行训练和验证，评估模型的稳定性和泛化能力。
8. 训练时间和推理时间：衡量模型的计算效率。
9. 参数量：反映模型的规模和复杂度。
10. 内存占用：评估模型运行时所需的内存资源。
11. 可解释性：模型决策和输出结果的可理解程度。
12. 泛化能力：在新的、未见过的数据上的表现。

不同的应用场景和任务可能会重点关注不同的指标来全面评估大模型的性能。