【人工智能】人工智能学习基础知识汇总

3. 对象：通过类定义的数据结构实例。

4. 实例化：创建一个类的实例，类的具体对象。

5. 类的公有属性和类的私有属性：

该类中以两个下划线开头的属性属于私有属性，在这种情况下同样地，在该类中使用两个连续下划线标记的方法被视为私有方法。这些私有属性和私有方法无法在外部类或方法中被调用，并且只能通过内部引用机制来访问它们。具体来说，在内部可以通过self..private_attrs来访问这些私有属性，并使用self..private_methods来访问这些私有方法。

6. 构造方法：

在创建对象的过程中，在为一个类定义其实例对象时（即当该类被实例化的时候），Python 解释器都会自动地执行该构造方法以完成初始化操作。对于Python 类来说，在手动定义构造方法的具体语法形式如下：

def_init__(self,..):

代码块

该初始化函数（init）可以接收多个参数，并且它必须至少包含一个名为self的参数，并且这个参数必须是第一个接受的位置。

7. 类的方法和Self 参数

在类体内通过关键字def来声明一个方法，在这种情况下与其他普通函数定义有所不同的是，在类方法中应包含参数self，并且它通常是第一个参数。自动生成实例标识符自动生成实例标识符自动生成实例标识符自动生成实例标识符自动生成实例标识符自动生成实例标识符自动生成实例标识符

8. 类的继承

采用继承机制通常会创建与现有类功能相似的新类；此外，在现有类别基础上新增少量成员（属性与方法），而无需将现有代码块直接复制到新类别中。由此可见，利用继承机制能够方便地实现对 类 的重复利用。

Python 支持多继承，即一个类可以有多个父类。

9. 方法的重写

基于类的成员变量和方法都会遵循继承机制进行传递，在子代类型实现过程中会遇到特殊情况时，则需为该功能提供专门的实现方案

当调用一个对象的方法时：首先会检查当前对象是否拥有该方法。若发现该方法存在于当前对象中，则会直接执行；若无，则会转向其父类进行查找；若在其父类中有对应的方法，则会立即调用该方法；若未在当前层级找到，则继续转向其上一级别进行查找；最终将遍历整个继承链直到遇到Object类为止；如果在Object类中也未找到所需的方法，则会导致编译错误。

数据库

1.PyMySQL 是 在 Python3.x 版本中用于连接 MySQL 服务器的一个库，需要安装。

python-m pip install PyMySQL 连接数据库：

db=pymysql.connect("localhost","testuser","test123","TESTDB")

2.mysql-connector 是 MySQL 官方提供的驱动器。

python-m pip install mysql-connector 连接数据库：

该代码段旨在通过初始化连接库实例向本地主机上的MySQL数据库建立连接。

3. cursor对象：通过cursor()方法创建一个cursor实例，并通过该实例调用execute()方法来执行SQL语句

cursor cursor =db.cursor( cursor.execute(sql)

在进行数据库的增删修改时必须提交给数据库执行操作；而仅用于查询的数据操作则无需提交

db.commit()

发生错误时回滚 db.rollback()

MySQL数据库可以通过调用fetchone()方法可获得单条数据记录；而fetchall()则用于一次性获取多条数据记录。具体而言，在调用fetchone()时会返回一个单独的结果行；而fetchall()则会将所有结果一次性加载到内存中并返回作为一个完整的结果集合。需要注意的是，在MySQL中，默认情况下resultset是一种行优先的数据结构；因此每次调用fetchone()都会生成一个新的行对象来表示当前的结果行信息。

fetchall(): 接收全部的返回结果行.

rowcount: 这是一个只读属性，并返回执行 execute()方法后影响的行数。

6. 关闭数据库

关闭数据库连接 db.close()

7. SQLite 是 Python 预装的一个数据库系统，在无需任何设置或配置步骤的情况下即可运行。Python 内置了 sqlite3 模块，在无需安装的情况下可以直接导入并使用该模块进行开发操作。

《机器学习算法基础应用》

第1章机器学习概述

本章主要概述了机器学习相关知识的基础介绍。具体涵盖以下六方面内容：一是认识机器学习的概念；二是熟悉scikit-learn库的基本应用；三是安装Anaconda Python发行版并配置环境；四是掌握Jupyter Notebook的操作流程；五是掌握Python基本库的应用技巧；六是建立基础机器学习模型——以鸢尾花分类为例。共分为六个主要内容

本章的主要知识点如下：

机器学习

专家系统是早期的人工智能系统的代表，在问题解决过程中主要依靠If-Else条件判断结构来完成任务。

理数据。

◇ 专家系统使用人为制定规则的方法。

◇ 专家系统擅长解决规则明确的问题，诸如国际象棋等。

专家系统仅限于单一领域内，并且仅适用于单个任务。对于较为复杂的任务而言，专家系统不具备普适性。通常情况下，则需要结合其他技术或方法来解决。

要重写系统。

专家系统采用基于人为制定规则的方法，在图像识别任务中难以达到预期效果。其主要问题是：计算机将像素视为构建图像的基本单位的方式与人类处理面部特征存在显著差异。正是由于这种表征差异的原因，在数字图像中准确地描绘出人类脸部特征所依赖的规律性模式是十分困难的。

2. 机器学习( machine learning )是人工智能领域的核心技术,它是指计算机在大量数据中自主完成各种任务的能力

数据中找出规律、建立模型，并对新的数据做出判断和预测。

在机器学习技术领域中, 计算机能够自动从大量数据里提炼出规律, 而这并非传统方法依赖的固定模式

理数据。

◇ 机器学习做的是特征提取，输出的是算法模型。

◇ 机器学习的效果依赖于数据，数据决定着模型的上限。

相较于传统的专家系统而言，在处理那些人类无法预先定义明确规则的任务时, 机器学习展现出更强的能力, 它能够更出色地承担起此类任务的工作职责

景 。

监督学习和无监督学习

监督学习 (supervised learning) 的显著特征是使用的数据都是标注过的。

2. 无监督学习是根据数据的内在特点和规律对数据进行处理。

3. 监督学习与无监督学习的主要差别在于所使用的训练数据是否经过标注。

4. 监督学习的“监督”主要体现在数据的标签上。

◇ “监督”是通过标签来监督学习效果。

◇ “监督”不需要人为监督算法的学习效果。

5. 监督学习的目的是：建立数据的特征与标签的对应规则。

6. 相比于无监督学习，监督学习的效果更容易评价。

样本与特征

在机器学习领域中, 数据的每一行被视为每个样本(sample), 每一列(样本的特征)则被视为一组(feature)。

称为特征 (feature)。

◇ 行的数量即样本的个数。

◇ 列的数量即特征的个数。

2. 机器学习中，特征是指数据的属性。

◇ 比如鸢尾花(Iris)数据集中，样本的特征数是4,分别是花瓣的长度、宽度，花萼

的长度、宽度。

标签

1. 数据的标签一般是指样本数据所属的类别或对应的某个值。

◇ 标签并不能唯一标识该条样本数据。

2. 机器学习所需的数据，有的有标签，有的无标签。

Python 优势

Python 语言在机器学习中的主要优势：

Python 已被广泛认定为数据分析与科学计算的核心工具之一；它不仅具备强大的通用编程语言功能，并也被用于解决复杂的科学计算问题。

有脚本语言的易用性。Python 编程简单灵活，开发效率高。

Python包含多种功能模块用于数据读取、呈现形式以及相关的分析工作，并支持文本分析和视觉分析等多种操作

该库为数据分析、数据挖掘以及机器学习（尤其是深度学习）等类型的应用场景提供了强大的支持。

3. 基于通用编程技术的Python语言不仅能够创建复杂的图形界面(GUI)以及Web服务，并且能够无缝集成到现有的应用体系中(广为人称为'胶水语言'的Python提供了一种便捷的方式去整合各种编程工具)。

使用 Python 进行数据分析与机器学习时, 可以采用终端或其他类型的 Jypyter 笔记本工具, 以更便捷地完成代码操作。机器学习和数据分析本质上都是数据驱动的迭代过程, 这些数据驱动的迭代过程需要具备快速迭代和易于操作的特点。

Anaconda

Anaconda被视为一个免费的Python发行版本，并集成了一系列如conda、Python以及其他180多个科学工具包。

及其依赖项。

2.conda 是一个开源的包和环境管理器。

3.Anaconda 集成了大量的第三方库，主要包括：

◇ 通用机器学习库scikit-learn

◇ 科学计算库numpy、scipy、pandas

◇ 可视化库Matplotlib、seaborn等

Anaconda整合了开发平台—Jupyter Notebook，并被广泛用于Python的数据分析与机器学习领域中。

5.Anaconda 在windows 平台和 Linux平台上安装时，都会询问是否初始化。

◇ 这里的初始化：是指是否将Anaconda 加入操作系统的环境变量中。

Jupyter

Jupyter Notebook（此前称为Python-based interactive environment）是一种交互式笔记本工具，在超过40种不同的编程语言中都能运行良好。它广泛应用于数据清理工作、数据分析以及挖掘活动；同时在统计建模和机器学习方面也表现出色。

Jupyter 未集成软件包管理和版本控制功能；Python 的 Anaconda 发行版中的开源软件为用户提供了一个完整的环境配置解决方案，并配备了用于管理和分发环境所需的工具如 Anaconda 环境管理器（conda）。

3.Jupyter Notebook 具备便捷的导出功能。可以导出为多种格式，包括：

个 HTML

◇ Markdown

◇ Python (.py)

◇ LaTeX

◇ PDF 等

4.Jupyter 的 Markdown 模式中，可以方便地设置标题。

◇ 1_{6级标题用1}6个“#”表示

个 注意#和标题文本之间用空格隔开

5.Markdown 的列表有无序列表和有序列表两种：

◇ 无序列表用“*”、“+”或“-”来定义(注意和文本之间用空格隔开);

采用数字编号并以‘.’开头的形式进行有序列表标记，在与文本相邻的位置使用空格分隔，并特别指出此处需注意间距设置

空格隔开)。

6. 在撰写科研论文时, LaTeX 是一个必不可少的工具有效工具, 在 Markdown 单元格中也可以使用 LaTeX 来插入数学公式

◇ 行内公式：在文本行中插入数学公式，则在公式前后分别加上一个“$”符号

◇ 独行公式：单行、居中显示公式，则在公式前后分别加上两个“SS” 符号

Scikit-learn

Scikit-learn 是一种在Python语言基础上广泛应用于机器学习领域的核心工具包，在其功能设计上集成了多个经典的机器学习算法，并且提供了丰富的接口供开发者灵活调用；作为开放源代码项目其社区驱动特性使其持续更新完善并获得了广泛的认可与应用

2.Scikit-learn 提供了方便的数据处理、挖掘和建模功能，具有以下特点：

① 建立在NumPy、SciPy、Matplotlib之上

该系统能够支持多种机器学习算法，并且涵盖分类任务、回归分析、聚类分析以及降维技术等多方面的应用范围

③ 为所有算法提供了简洁统一的使用接口(API****)****

④ 免费、开源(商业使用须遵守 BSD许可协议)

⑤ 活跃的技术社区和文档支持

⑥ 丰富的开发文档 3.Scikit-learn 安装建议：

① 如果尚未安装python, 建议直接安装Anaconda。

② 如果已经安装了python, 也可以使用pip 安装。 pip installscikit-learn

Numpy

1.Numpy 库的主要功能是：进行多维数组的运算。

2.Numpy 是 python 数据分析、机器学习的重要基础。

3.Numpy 核心的数据结构是：多维数组 ndarray。

4.Numpy 提供了强大的多维数组操作方法。

5.ndarray 处理大数组时，效率比list 高得多。

Pandas

Pandas 库的核心功能是支持对结构化数据进行处理与分析，并作为Python语言中用于数据分析的核心库

库。

2.Pandas 的两种主要的数据结构是：

◇ Series(系列)

◇ DataFrame( 数据框)

3.Pandas 对结构化数据的预处理主要包括：

◇ 数据清洗

◇ 数据合并

◇ 数据标准化与转换。

4. Pandas 支持对数据进行增删改查等基本操作。

Matplotlib

1.Matplotlib 库的主要功能是对数据分析的结果进行可视化。

2. 可以绘制的图像包括：

◇ 折线图

个 直方图

◇ 散点图

◇ 箱线图

◇ 雷达图等

3. 可以设置的各种图形元素，包括：

◇ 标题

个 坐标轴名称

◇ 线条颜色与样式 ◇ 图例等

Scipy

Scipy 是一种专门用于科学计算的工具库。它包含着八个功能各异的模块，在每个模块中都承担着各自特定的功能

◇ 插值 ◇ 积分 ◇ 优化

◇ 图像处理和特殊函数等。

机器学习步骤

1. 机器学习的一般步骤包括：

① 数据采集

② 数据预处理

③ 建模、训练

④ 模型评估

⑤ 预测数据

在Scikit-learn中, 拆分函数train_test_split()能够根据指定的比率将数据集划分为训练子集和测试子集。例如, 在实际应用中可以通过设置test_size=0.2来确保测试集占总数据量的20%

首先将数据集划分为训练集和测试集；然后分别赋值给X_train、X_test、y_train和y_test；接着使用随机状态为0的方法，并设置测试大小为25%来进行分割操作

◇ 根据经验，通常会用75%的数据及其标签作为训练集，剩下25%的数据及其标

签作为测试集。

个 test_size参数：测试集比例(默认为0.25)。

一个 random_state参数：随机数种子（该参数用于指定生成器的种子值以确保结果的一致性与可重复性；若未指定，则会导致每次拆分结果不同）

拟合函数 fit() 负责处理训练集中的特征信息与对应的目标值。例如，在训练阶段, 我们会调用 model.fit(X_train, y_train) 进行学习操作。

y_train)。

4. 评估模型采用score()函数进行计算,例如 score=model.score(X_test, y_test). 需要注意的是,在测试集上进行模型评估.对于分类型模型而言,评估结果反映了其分类预测的准确性.准确率越高,则表明该模型具有更强的可信度.

5. 预测数据使用函数predict(), 可以对新数据做出预测。

Scikit-Learn 为机器学习算法提供了一致的方法体系，在不同任务案例中实现了统一的学习机制。

可以反复练习 Scikit-Learn构建分类/回归模型的过程。

第2章监督学习

本章内容重点介绍机器学习领域的监督学习技术及其应用。核心内容涵盖以下几大模块：首先阐述监督学习的核心概念；其次详细探讨基于K-NN（K-近邻）算法的葡萄酒分类预测问题；接着深入分析利用线性回归模型进行波士顿地区住宅价格评估；随后系统讲解逻辑回归方法在乳腺癌诊断中的应用；再后详细研究决策树与随机森林组合技术用于解决鲍鱼年龄预测问题；此外重点介绍了支持向量机(SVM)方法在手写数字识别方面的先进应用；最后深入探讨了基于朴素贝叶斯分类器的方法用于钞票真假鉴别分析。

本章的主要知识点如下：

监督学习

监督学习 (supervised learning)的主要显著特征是其所使用的数据都是经过标注过的。

◇ 监督学习的目的是：建立数据的特征与标签的对应规则。

◇ 相比于无监督学习，监督学习的效果更容易评价。

2. 监督学习的“监督”主要体现在数据的标签上。

◇ “监督”是通过标签来监督学习效果。

◇ “监督”不需要人为监督算法的学习效果。

3. 分类问题与回归问题是典型的监督学习应用。

◇ 分类问题的目标是预测数据的类别标签(class label)。

◇ 回归任务的目标是预测一个连续值。

一种简便的方法是通过考察其输出结果是否连续来区分分类任务和回归任务。

之间具有连续性，那么它就是一个回归问题。

分类问题

1. 分类问题的目标是预测数据的类别标签(class label)。

个 分类问题中，数据的标签是类别

◇ 分类算法输出的是样本的类别(标签)

分类问题主要包括二类分类 (Binary Classification, 包含两个类别) 和多类分类 (Multi-class classification)

Classification,2个以上类别)。

◇ 鸢尾花分类属于典型的多分类问题(3个类别),

◇ 手写数字识别(识别一张图片是0_{9之间的哪个数)也属于多分类问题(0}9共10

个类别)

3. 在二分类问题中，

◇ 正类：通常将其中一个类别称为正类 (positive class)

◇ 负类：另一个类别称为负类 (negative class)

◇ 将哪个类别作为“正类”,与具体的任务有关。

常见用于分类任务的算法包括k-NN、逻辑回归、朴素贝叶斯分类器以及随机森林

5. 能够处理分类任务的常见算法有：K-NN、逻辑回归、决策树、xgboos 等。

回归问题

1. 回归任务的目标是预测一个连续值。

◇ 回归的输出是连续的，分类的输出是离散的。

◇ 回归算法输出的样本对应的一个连续值。

例如基于历史统计数据、气候状况以及农场劳动力数量等因素进行分析研究。

就是一个回归问题。预测值产量，可以在给定范围内任意取值。

2. 回归的概念源于生物学领域，是指生物个体现象对整体规律的逼近。

3. 回归算法的任务是寻找恰当的回归方程来拟合输入数据与输出标签。

泛化

广义化的（Generalized）或其他形式的能力（abilities）通常被用作评估机器学习算法性能的关键方面。

十分重要的指标。

2. 泛化或概括能力是指一个算法模型对陌生样本数据表现出的应变性和适应力（即一般化能力和普适性）。

模型的准确度并非越高越好，在训练数据上高的准确度未必能保证对新数据的有效预测能力。

过拟合、欠拟合

过拟合(Over Fitting): 被称为构建一个高度复杂且严格的数据驱动型模型的过程。

◇ “过拟合”现象中，模型在训练数据上的表现一般要好于在新数据上的表现

◇ 过拟合现象出现的原因是相对于训练数据来说模型的复杂度过高

2. 欠拟合(Under Fitting): 是指构建一个对现有数据来说过于简单的模型。

◇ 这类模型也许存在训练集上效果欠佳的情况，在这种情况下其精度不高。然而

在测试集上误差也大。

◇ 欠拟合现象出现的原因是模型的复杂度过低。

模型的复杂程度受数据影响，在训练数据规模较大且结构较为复杂的场景下，则可以选择较为合适的模型架构。

复杂的模型。但模型复杂度过高，容易发生过拟合现象。

4. 过拟合与欠拟合是两个相对的概念,它们都对模型的泛化能力产生影响。在构建模型的过程中,我们需要充分认识到这一问题并采取相应的措施

要在二者之间找到一个最佳平衡，从而得到最好的泛化能力。

****K-****最近邻算法

1.K- 最近邻算法 (K-Nearest Neighbors, 简称K-NN) 是最简单的机器学习算法。

◇ 构建模型只需要保存训练数据集即可。

该系统旨在对新输入的数据点进行预测结果。通过 K-NN 算法，在训练数据集中搜索并获取与新输入数据点最邻近的 K 个样本。

数据点，也就是它的 “K 个最近邻”。

2.K- 最近邻算法的核心思想是：

◇ 近朱者赤、近墨者黑，

◇ 物以类聚、人以群分，

基于最近的几个邻居（用K表示）来推断新数据的结果。该方法不仅适用于分类任务（识别不同类别），同时也可用于回归分析（预测连续数值）。

◇ K-最近邻算法用于处理分类问题：对于K>1的情况,通过多数投票由K个邻居决定新数据点的类型

种类型的邻居多，就判断新数据点是那种类型。

K-近邻算法用于回归分析中使用的方法是：选择与目标样本距离最短的K个训练样本作为参考集，并通过这些参考样本的标签值来预测目标样本的结果值。

点，取平均值即为新数据点的输出值。

4.Scikit-learn 中 ，K-NN 算法默认使用欧式距离，也就是直线距离。

◇ 曼哈顿距离是另一种常使用的距离。曼哈顿距离又称“街区距离”。

曼哈顿距离被定义为：两点间的南北向距离与东西向距离之和，即为总曼哈顿距离。

d(i,j)=|xi-xjl+|yi-yjl。

◇ 例如：坐标轴中两点A(3,-1)和 B(-2,2), 则这两点的曼哈顿距离 (L1 距 离 ) :

L1=|3-(-2)|+|(-1)-2|=8。

线性回归算法

1. 线性模型中的“线性”是指：变量之间具有一次方函数关系。

2. 线性模型既可以处理分类问题也可以做回归问题。

回归算法的本质是通过建立方程模型来估计参数值,从而有效地捕捉到输入数据与输出标签之间的联系

特征。它们之间的主要差异体现在采用不同的方法来估计参数以及模型结构的复杂程度存在差异。

4. 线性模型解决回归问题的原理：是确定最佳线性函数以揭示输入变量与目标变量之间的关系（例如基于房屋特征预测房价），从而实现对新数据进行准确预测。对于波士顿地区的房价预测而言，则属于典型的回归分析范畴。常见的线性回归技术包括普通最小二乘法等方法。

◇ 标准线性回归(LinearRegression)

◇ 岭回归 ( Ridge)

◇ Lasso回归 ( Lasso)

Standard Linear Regression（标准线性回归）是一种基础且经典的分析工具，在回归模型中占据核心地位

◇ 模型通过最小二乘法(OLS) 来寻找一次线性方程y=wx+b 中的参数w 和 b, 使得

在训练集上的预测值与实际值之间的均方误差 ( MSE) 最小。

◇ 最小二乘法可以通过多个测量值来求解最接近实际值的值。

Mean Squared Error (often abbreviated as MSE) refers to the sum of squared differences between predicted and actual values divided by the number of samples.

在标准线性回归模型中引入了正则化项从而得到岭回归与Lasso回归

◇ 正则化（regularization）的功能：主要是通过调整模型参数*w以降低其复杂度

杂度，以达到避免过拟合的效果。

6. 线性模型解决分类问题的原理：是确定一个最佳的判别边界（即一个线性函数），使其能够

将训练集的数据最有效地分开，从而实现对新的数据进行分类。

◇ 逻辑回归 (LogisticsRegression) 个 线性支持向量机 (LinearSVC)

逻辑回归算法

逻辑回归（Logistic Regression, 简称为LR）尽管其名称包含"回归"这一术语，在分类任务中却展现了卓越的表现

◇ 能处理二分类问题

◇ 也能处理多分类问题

逻辑回归算法的本质是在线性回归预测函数的基础上引入了Sigmoid()作为输出函数以处理分类任务

◇ Sigmoid 函数，又叫 Logistic函数，逻辑回归即由此得名。

◇ 分类输出函数 Sigmoid()输出[0,1]之间的概率值，概率>0.5则预测值为1,反之预测

值为0,从而解决二分类问题。

3. 逻辑回归 (LR) 解决多分类问题的原理是：将问题转化为多个二分类问题。

第4节 逻辑回归模型基于 sklearn.linear_model.LogisticRegression 开发。它分别代表了两种不同的正则化方法

似，逻辑回归同样引入了正则化项来防止过拟合。

◇ 正则化参数C (默认为1.0): C 过大，容易出现过拟合，C 过小容易出现欠拟合。

◇ 正则化项类型 penalty(取值为“I1”或"12”,默认为"12")。

决策树算法

决策树和随机森林（一种基于多棵决策树的集成学习技术）是机器学习领域中应用广泛的重要模型。它们不仅能够有效解决分类问题和回归问题，在处理复杂的非线性关系时也展现出卓越的能力。

类问题、也可以解决回归问题。

决策树中的各个点包括根点（代表最先被考虑的因素）、中间点（代表其他相关因素）以及叶子点（表示最终决策的结果）。

由于在构建决策树时采用不同的标准来挑选特征，则发展出了三种主要的信息论算法

个 ID3 (使用信息增益),其中C4.5和 CART 都是由ID3 衍生而来。

◇ C4.5 (使用信息增益率)

个 CART (使用Gini 基尼指数)

4. 决策树算法的关键在于如何生成最优的决策树(即每一层如何选择特征)。

决策树的剪枝：即为对决策树算法施加限定以控制模型复杂度的过程。如果未做限定，则该算法会生成一棵所有叶子节点均为纯节点且深度极大之树。这样模型会变得极为复杂，并容易发生过拟合。

6. 决策树剪枝的目的是为了控制模型的复杂度、防止过拟合。

7. 剪枝的条件包括：

① 限制决策树的最大深度

② 限制叶节点的最大数量

③ 规定一个节点中数据点的最小数目来防止决策树继续划分

8. 剪枝通过创建模型时指定参数来实现，主要参数如下：

① max_depth: 限制决策树的最大深度。

② min_samples_leaf: 限制每个叶子节点包含的最少样本数

min_samples_split: 规定每个内部节点所需的最小样本数量为某个阈值；若样本数量低于该阈值，则不再进行分割。

④ max_leaf_nodes: 限制最大叶子节点数。

9. 可以降低决策树过拟合现象的机制或方法归纳起来有以下几种：

① 剪枝

② 限制决策树层数

③ 使用集成算法

随机森林算法

常见集成方法包括套袋模型与提升模型（Bagging 和 Boosting），其基本思路在于将多个弱学习器组合以增强整体性能

◇ Bagging: 多个学习器同时独立运行，在分类任务中采用多数投票机制，在回归任务中采用平均策略以获得最终预测结果。

Boosting: 一系列模型依次运行，在线学习中后续的模型必须依赖前驱模型的输出结果，并对上一轮分错的样本进行重点优化。

样本权重提高，重新进行训练。

2. 决策树集成算法主要有：

① Bagging(套袋模型):随机森林

② Boosting (提升模型):AdaBoost 和XgBoost

3. 随机森林算法的“随机”是指随机选择特征。

4. 在资源允许的条件下, 采用决策树集成模型(包括但不限于随机森林, AdaBoost 等)通常表现出更高的性能或效果

好。随机森林算法的优点主要包括： 个 具有很好的抗噪声能力

◇ 对数据集的适应能力强

◇ 可以得到变量重要性排序

支持向量机算法

支持向量机（Support Vector Machine, 简称SVM）模型不仅可用于分类任务，并且同样适用于回归分析

归。

支持向量机(SVM)算法其本质在于确定能够使间距最大的两个分割超平面（如图中虚线标记为H1和H2）

◇ 支持向量(Support Vector): 位于这两个边界上的样本。

◇ 中间的实线H 就是最优超平面。

3. 支持向量机算法的主要参数有：

① kernel: 核函数类型

② c: 惩罚系数

③ gamma 系数：rbf核函数的参数

4. 支持向量机(SVM) 算法的优化目标：是间隔最大化。

5.C 惩罚参数(默认为1.0)，调节相关参数有助于改善SVM模型的过拟合与欠拟合问题。

① C过高，容易过拟合

② C 过小，容易欠拟合

③ 如果SVM 算法出现欠拟合问题，则应该增大惩罚系数C。

④ 如果SVM 算法出现过拟合问题，则应该减小惩罚系数C。

支持向量机算法-核函数

在线性不可分的情形下，支持向量机算法在处理这类问题时表现出色：该算法通过巧妙地运用核函数技术实现对非线性数据的处理

将当前维度上线性不可分的样本，转化到更高维度，使其线性可分。

在SVM算法中核函数的功能：是通过将样本映射至高维特征空间中以实现数据的线性可分性

通过将线性不可分的样本映射至高维空间以实现其线性可分。 3.k 核函数的主要类型有哪些：

◇ rbf(默认的核函数):径向基核函数(高斯核函数),应用最广的核函数，噪声

数据抗干扰能力强。

多项式核函数：通过将低维数据映射至高维空间实现特征扩展，在此过程中所涉及的向量经过正交归一化处理以确保其方向相互独立且长度标准化

1)的数据。

指 linear 核函数而言，在支持向量机中使用这一核函数时，默认场景下会被对应于 sklearn.svm.linearSVC 类别，并被用于处理线性可分的数据集情况；采用该核函数的支持向量机模型则被归类为一种线性分类器类型。

朴素贝叶斯算法

1. 朴素贝叶斯是假设“样本的特征之间是相互独立的”一类贝叶斯算法。

◇ 这里的“朴素”是指算法假设样本的特征之间没有关联。

朴素贝叶斯分类器属于贝叶斯算法中最为简洁且表现优异的一种经典分类算法。

该算法通过计算出每个测试样本在各分类别中的概率值来判断各类别之间的归属关系，并将测试样本归入具有最高概率值的那一类别中。

2. 在 scikit-learn 中，共有3种朴素贝叶斯分类算法：

该算法基于以下假设：其先验分布在统计学上服从高斯分布（即正态分布），这是其作为朴素贝叶斯算法的基础原理之一。

多项式朴素贝叶斯（MultinomialNB）：其基于多项式先验分布的贝叶斯模型

算法

在该模型中，默认参数设置基于该变量服从双态概率分布在数据预处理阶段

素贝叶斯算法

第3章无监督学习

本章内容主要旨在全面阐述无监督学习的基本原理及其应用方法。具体涵盖以下几大模块：首先详细介绍了利用多种聚类算法对鸢尾花数据进行分类任务；其次深入探讨了基于密度聚类DBSCAN的实际案例分析；再次系统讲解了主成分分析PCA与线性判别分析LDA的数据降维技术；随后重点描述了LDA与支持向量机SVM相结合的人脸识别模型构建过程；最后深入研究了流形学习方法在数据降维与可视化方面的实际应用效果。

本章的主要知识点如下：

无监督学习

机器学习通过模拟人类的学习行为实现技术发展。它主要可分为两种类型：监督型与非监督型。两者之间的关键差异体现在两个方面：一是所处理的数据类型（即数据），二是所追求的目标（即任务）。

监督学习提供的有标签数据用于模型训练；监督学习旨在构建一个能够基于此数据预测未标记的新数据样本的系统。

的标签，监督学习主要包括：

① 分类(Classification)

② 回归 ( Regression)

3. 无监督学习，在这种情况下, 模型所使用的训练数据未标注类别, 其目标在于通过分析数据固有的特性来进行分类处理, 即根据数据间的相似性将相似的对象归为一类。

4. 常见的无监督学习主要有：

① 聚类(Clustering)

② 降维 (Dimensionality Reduction)

聚类算法

该聚类算法基于数据内在特征的差异性进行分组（即实现内聚），该算法能够实现对数据集的分类。

给模型学习的数据没有标签。

2. 根据不同的算法思想，常用的聚类模型有：

① K-均值聚类(K -Means)

② 均值漂移聚类(MeanShift)

③ 层次聚类(Birch)

④ 密度聚类( DBSCAN)

3. 是否指定聚类数量参数，不同算法有一定的差别：

① K-均值聚类(K-Means) 需要指定聚类的数量K。

② 均值漂移聚类(MeanShift) 不需要指定。

③ Birch 聚类既可以不指定，也可以指定聚类数量，其参数为n_clusters。

④ DBSCAN 聚类无需知道聚类簇的数量。

4.K-Means 聚类算法中的 “K” 指的是：要聚成几类。

DBSCAN****聚 类 算 法

DBSCAN 是一种广为人知的基于密度的空间聚类算法。其英文全称是 Density-Based Spatial Clustering of Applications with Noise, 意即一种具有抗噪声能力的空间聚类算法（Robustness-健壮性）。从直观效果来看, DBSCAN 算法能够识别出样本点的所有密集区域,并将这些区域视为独立的聚类群。

2.DBSCAN的基本概念：这是一种专门用于处理空间数据聚类问题的方法。该系统通过评估空间中的点密度，在满足一定条件的情况下将密集区域划分为若干簇，并能够识别出不同形状且受噪声影响较小的数据分布模式。其中，每个簇被定义为由相互之间密度相连的所有点所组成的最大集合。

3. DBSCAN 算法具有以下特点：

① 基于密度，对远离密度核心的噪声点鲁棒( Robust- 健壮)

② 无需知道聚类簇的数量

③ 可以发现任意形状的聚类簇(突出优势)

4. DBSCAN 算法的主要参数有：

① 临近半径 ( eps ): 默认值 0.5。

√ 当某个指标数值过高时，在该区域内落入的点数量会增加，在这种情况下可能会导致样本分类的数量有所减少；原本应归为一类的数据点可能被错误地划分为另一类

√ 值过小，则类别数可能会增大，本来是一类的样本却被分开。

② 最小样本数(min_samples): 默认值5。

√ 当数值过高时，则可能使得原本同一类别的样本被错误地标记为噪声点，并使类别总数增加。
√ 当数值偏小时，则可能导致分类数量减少。

聚类算法评估指标

1. 调整熵指数 (兰德指数): 在Scikit-Learn中，默认设置的聚类评价指标...

具体来说就是评估聚类结果与实际类别标签之间的对应关系（即准确率指标，有多少样本被正确归类的比例）。

实际类别中)。

◇ 取值范围为(0,1),值越大代表聚类越准确。

2.silhouette_score (轮廓系数):是聚类效果好坏的另外一种评价方式。

该评估指标着重于不考虑样本的真实类别归属，在计算轮廓系数的过程中，并不需要依赖样本数据的具体数值或真实值。

际标签。

个 该指标关注聚类结果中样本的内聚度和分离度(差异度)两种因素。

◇ 取值范围为(-1,1),值越大代表聚类的结果越合理。

降维算法

1. “维度 (Dimension)”: 在机器学习中通常指样本数据的特征数量。

◇ 鸢尾花数据集 (Iris)有四个特征(花萼长度、花萼宽度、花瓣长度、花瓣宽度),

因此可以说该数据集有四个维度，

◇ 红酒数据集(Wine) 有13个特征，可以说数据有13个维度。

降维(Dimension Reduction):简单来说就是降低数据的空间维度，并减少了数据的特征数目。

3. 数据降维的目的包括：

① 减少数据冗余，减少噪音数据对模型的影响，节省存储空间。

② 提取有效特征(提取对结果影响较大的特征、忽略无意义特征)。

③ 便于数据可视化及计算。(3维以上的数据很难可视化)

④ 提高模型的运行效率及准确性。

4. 机器学习和数据分析中两种常用的经典降维算法是：

① PCA ( 主成分分析):无监督学习

② LDA (线性判别分析):监督学习

5. 选择哪种算法来降维要根据具体的目的和场景。

◇ 如果我们的目的是分类，那么一般来说选择LDA 算法更合理。

◇ 如果我们的数据没有标签，则选择PCA 算法。

PCA 降维算法

PCA（主成分分析）是机器学习领域中的重要工具,其缩写形式为Principal Component Analysis,其中"成分"可被视为样本的各种特性表现

2.PCA 算法不关注样本数据的标签信息，因此属于无监督学习。

从基本原理来看，PCA算法的主要目标是通过在不同维度上对数据进行映射，将高维空间的数据转换至低维空间。该过程旨在选择能够最大限度地保留原始数据特征的那些投影方向。这样就能既有效降低原始数据的空间维度、又能尽可能多地保持原有数据的关键属性。

4. PCA 本质上是通过一系列线性组合将原特征转化为几个综合特征，并消除特征数据之间的相关性，在维度减少的同时最大限度地保留原始高维数据的信息

PCA算法常用于sklearn.decomposition模块中，并广泛应用于该模块中的transform功能及其与fit的整合

LDA 降维算法

LDA (线性判别分析)的全称是Linear Discriminant Analysis, 它是一种经典的降维算法, 同样将高维数据投影到低维空间以实现降维目标.

PCA 算法通过选择投影方向以最大化数据在该方向上的方差来进行降维处理；该方法基于假设：在其他条件相同的情况下，在不同维度上的方差大小反映了各维度所携带的信息量多少。

该LDA算法采用投影后使得类内方差较小且类间方差较大的方向来进行投影，并进而实现降维并保持类别信息。

2.LDA 算法因为考虑了样本的标签，所以属于监督学习。

3. LDA降维由于考虑到样本的类别标签信息, 其数据分布表现出良好的类型区分能力, 因此LDA更适合用于分类任务

t-SNE 降维算法

t-SNE（基于t-分布的随机邻域嵌入）：其全名为'T-Distributed Stochastic Neighbor Embedding'（T-SNE），是一种

一种基于流形学习的非线性降维算法被深度学习专家Laurens van der Maaten 和 Geoffrey Hinton 在2008年首次提出。该算法特别适合于将高维数据降到2或3维空间中进行可视化。

2. 利用流形学习原理的t-SNE算法在数据降维和可视化方面表现出色。
3. 在数据降维领域中具有卓越表现的t-SNE算法其主要缺陷在于：

① 计算复杂度高

② 占用内存大

③ 降维速度较慢

当面对高维数据集时, 我们难以判断其分类效果, 即同类之间的间距较小, 同类与异类之间的间距也较小

大 ) , 可 以 通 过 t-SNE 投影到 2 维 或 3 维的空间中进行可视化观察。

第4章预处理与特征工程

本章内容重点阐述了机器学习中的预处理与特征工程，并对其具体实施方式进行详细阐述。具体而言, 本章涵盖的内容包括: 采用数据缩放技术进行预处理; 运用独热编码方法对离散型变量进行编码; 引入多项式特性和交互项以丰富模型复杂度; 对连续型变量实施分箱处理以生成离散特征; 实施自动化的特征选择机制; 并针对缺失值和异常数据进行特殊处理等各项操作

本章的主要知识点如下：

数据缩放

数据缩放 (Scale): 基于特定的数学转换手段, 对原始数据进行按比例处理

换，将数据放到一个统一的特定区间内。

2. 数据缩放的作用主要有：

使数据标准化处理：通过减少不同特征间的规模差距来实现统一尺度下的相对指标转化

数值。

◇ 将数据缩放到特定范围。

◇ 提升模型的准确性和效率。

3.Scikit-learn 中常用的数据缩放方法有：

① StandardScaler

② MinMaxScaler

③ RobustScaler

④ Normalizer

4.StandardScaler 缩放器：

◇ 通过变换使每个特征集合的平均值为0,方差为1,

◇ 使所有特征都位于同一量级。 5.MinMaxScaler 缩放器：

◇ 将所有特征值都缩放到0到1之间，

◇ 对于二维数据集来说，所有的数据都包含在 x 轴 0 到 1 与 y 轴 0 到 1 组 成 的

矩形中。

6. RobustScaler 缩放器：

◇ 原理与StandardScaler 类似，确保每个特征都位于同一范围。

它采用的是中位数和四分位数而非平均值与方差；RobustScaler不会考虑其相关属性。

他点有很大不同的异常值(比如测量误差)。

7. Normalizer缩放器：

将所有数据点投影至单位圆上（在更高维空间中则为超球面），对每一个数值进行相应的处理。

据点的缩放比例都不相同，

◇ 如果任务只考虑数据的方向或角度，不考虑特征向量的长度，通常会使用

Normalizer进行归一化。

8. 数据缩放器位于sklearn.preprocessing 预处理模块。

数据标准化和数据归一化

1. 作为数据缩放的两种常用方法，标准化和归一化的区别主要有：

标准化是指通过将特征列调整到均值为零、标准差为一的状态来实现的数据预处理方法。（如 StandardScaler 算法）

◇ 归一化是将特征值缩放到(0,1)或(- 1,1)之间。(如MinMaxScaler算 法 )

树状结构算法（包括决策树和随机森林等）不受特征尺度的影响，一般无需对数据进行缩放处理。

包括标准化和归一化处理。

◇ 决策树算法的关键在于如何生成最优的决策树(即每一层如何选择特征),

在构建决策树模型时，在选择根节点之前必须考虑哪些因素？随后，在构建子节点的过程中又该如何操作？

面的中间节点，以此类推，直到所有节点都是叶子节点。

独热编码

数据的表现形式对于机器学习的效果具有决定性的影响。为了实现最佳的数据表现形式这一目标所采取的方法被称为优化过程或特征提取技术。

“特征工程”,其目的是通过改善数据质量来提升模型的性能。

大多数机器学习模型在处理过程中需要对离散特征进行数值化处理，在这种情况下通常采用独热编码（one-hot encoding）技术来表示这些非连续变量

是最常用的离散特征编码方式。

◇ 如果特征是无序的离散值(如学历、颜色、国籍),通常需要进行独热编码，

◇ 如果特征是连续值(如身高、体重、价格),则不需要进行独热编码。

3. 独热编码 (one-hot 编码)也叫留一编码，

◇ 编码中只有一个是1,其他全为0。

一 用于表示原始特征的各种取值数量的变量会被编码成独立的一系列字段（例如，在这个示例中 color 特征求取红 黄 蓝三种不同的值时 这些变量会被分别编码成三个字段）

4. 独热编码确保了每个离散取值的无序特性、公平性质以及相互正交性质,实现了对离散特征的有效编码

数值化问题、提高了数据质量，有助于提高模型的性能。

树状结构方法（例如决策树和随机森林）与特征的具体值无关，在处理过程中无需对原始数据进行离散化处理。

转换。

多项式特征

多项式特征包含两种计算方法：一是各列之间的乘积运算（即交互作用项），二是各列的高阶幂运算。

特征。

注意

◇ degree 多项式次数(整数)

◇ interaction_only 是否只生成交互特征(默认-Flase |True)

PolynomialFeatures类实例调用get_feature_names()方法能够获取特征名称（即列名），有助于提升展示效果。

4. 线 性回归结合多项式特征使用，可以拟合非线性数据。

在线性模型中引入多项式特徵和交互项

该方法是一种关键手段以提高模型性能，并且其具体效果会受所选模型及任务的影响而有所不同

例如，在波士顿房价数据集中，通过将多项式阶数设置为2引入多项式扩展后, 特征数量从13个增加到105个, 并且Ridge回归模型的性能得到了显著提升.

多项式的阶数过高可能导致模型出现过拟合问题。具体而言，在训练数据上的表现优异并不能保证对未知数据的有效预测能力。

分箱离散化

通过将连续的特征值进行离散化处理（Discretization）来提高分类模型的性能是一种重要方法。在对特征进行离散化处理后（Discretization），分类模型变得更加稳定，并且降低了过拟合的风险。

分箱处理（binning）是一种将连续变量转换为离散变量的方法。其核心在于将连续型特征分割为多个区间（即不同类别）。

具体来说,例如将考试成绩从连续的数值形式转换为以80分为满分及以上,60至80分为中等分数段,以及60分及以下作为低分区间段 (可采用独热编码或其他编码方式表示),通过分箱处理能够有效提升分类模型的表现

对于分类模型而言，在处理连续型特征时实施区间划分是一种常见策略。这种做法不仅有助于提升模型的整体稳定性，并且能有效避免了由于特征离散化导致的潜在问题。

拟合的风险，分类模型的准确性也得以提升。

4. 分箱离散化处理的优点主要有：

◇ 离散化后模型对异常数据的抗干扰能力得以增强，模型更加稳定。

◇ 引入了非线性特征，同时便于增加交互特征，提升了数据的表达能力。

◇ 将所有特征值都变换到了相似的尺度上，统一了量纲。

KBinsDiscretizer分箱

1. 在 Scikit-learn中 ，KBinsDiscretizer类提供了集成度更高的分箱功能，

2. 调用方法：KBinsDiscretizer(n_bins,encode,strategy),主要参数：

① n_bins: 每个特征列的分箱个数

② encode: 分箱的编码类型

·ordinal- 数字顺序编码，

·onehot- 独热编码，

·onehot-dense 独热编码-稠密矩阵)

③ strategy: 分箱策略

·均匀间距划分：每个区间宽度一致 ·基于相等频率划分的方法：每个子集数据量相等

·kmeans- 聚类分箱：每个分箱中的值到其1维K均值聚类簇心的距离相同

自动特征选择

1. 当特征数量比较多时，模型容易变得更复杂，过拟合的可能性也会增加。

◇ 可以进行降维处理。

采用自动化特征选择筛选出对结果影响较小的部分特征，并剔除这些不影响结果的关键因素，则能够构建出泛化能力更强、结构更为简洁的模型。

2. 自动化特征选择有三种基本策略：

◇ 单变量统计 (univariate statistics)

个 基于模型的选择 (model-based selection)

◇ 迭代选择 (iterativeselection)

单变量统计特征选择

对于单变量统计策略而言，在分析每个特征与目标值之间的关系时，请注意检验这些关系是否存在统计学意义，并进一步得出结论。

后选择具有最高置信度的特征。

单一变量（univariate）的定义是指其仅考虑单一变量本身。当该变量仅在与其他变量结合使用时才能提供有价值的信息，则该变量会被剔除。

个 单变量统计策略的计算速度通常很快，并且过程中不需要构建模型。

2.Scikit-Learn 中提供了两种常用的单变量统计特征选择器：

◇ SelectKBest选择器：按数量选择最优特征，参数K=指定选取的特征个数。

基于百分比的选择器：SelectPercentile是一种基于预设百分比值筛选特征的技术方法，在该方法中，默认情况下会按照指定比例（通常为5%）提取出表现最优秀的特征。其中参数percentile设定为选定特征的比例

比。

基于模型的特征选择

基于模型的方法选择特征就是旨在利用一个通常采用的是基于决策树的技术来确定最优特征集合。随后将依据特定标准对这些候选特征子集进行评估

后交给具体的任务模型使用。

这些模型拥有了 feature_importances_ 属性，并且能够直接返回每个特征

的重要性。

在Scikit-learn中，通过基于模型的选择器来完成自动特征选择的具体操作流程是：选择器被设置为 SelectFromModel实例（适用于树模型）。

迭代特征选择********RFE

基于特征的选择策略仅构建一个模型；而迭代选择则会按照数量由多至少或由少至多的方式构建一系列模型；持续迭代直至满足预设条件。

通常采用的迭代特征选择方法包括递归特征消除法（Recursive Feature Elimination），简称RFE。其具体过程如下：在每一步中会利用当前可用的所有特征进行模型构建，并根据模型性能评估的重要性排序结果剔除那些对模型贡献最小的特征。这一过程将不断重复直至满足预设的选择标准或筛选出最优的特 trưng集合。

3.RFE 构造方法的主要参数：

① 参数1:所基于的模型(基于树的模型，通常采用随机森林)

② 参数2: n_features_to_select,预设的特征数量(即最终选出的特征数量)

通常情况下而言

了多个模型，计算效率较低。

异常检测

outliers, also referred to as anomalies, represent data anomalies or outliers within a dataset. Such as an age of -1 years or a laptop weighing 1 ton, all fall under the category of outliers. From a distribution perspective, these outliers are typically situated outside the main data cluster.

在某些实际领域内，异常点往往具有重要意义。例如，在银行卡交易数据中出现的 异常点通常被视为值得关注的关键交易现象，并且往往涉及欺诈行为。此外，在网络通信数据中出现的 异常点可能反映 出恶意攻击或系统故障等情况。

3. 在机器学习中，在消除异常点之前必须确保能够正确识别这些数据特征；常见的做法是在识别出这些异常数据之后采取相应的处理措施以保证模型性能；这一步骤对于提高模型准确性和可靠性至关重要

提就是异常检测。

4.Scikit-learn 提供了几个常用的异常检测算法，包括：

① IsolationForest(iForest-孤立森林)-基于树结构( Tree)

② OneClassSVM (一类支持向量机)-基于支持向量机(SVM****)****

③ LocalOutlierFactor (LOF局部离群因子)-基于K-最近邻 ( K-NN)

5. outlier ratio is a key parameter in outlier detection models, serving as the benchmark to distinguish between normal and abnormal data. Its specific value often depends on the unique characteristics of different application scenarios.

iForest********异常检测算法

1.IsolationForest(iForest 孤立森林):是基于树结构 (Tree) 的异常检测算法。

◇ 孤立森林模型是由华人团队提出的；

◇ 算法简洁高效、适应性强，近年来被广泛使用。

2. iForest 孤立森林算法的主要参数：

skleran.ensemble.IsolationForest(n_estimators,contamination):

① n_estimators- 树的个数(默认100,树越多模型越稳定，计算复杂度越高)

② contamination- 异常值比例(默认0.1)

OneClassSVM********异常检测算法

OneClassSVM（一种基于单一类别支持向量机或独特类别支持向量机）：它是以支持向量机（SVM）为基础发展起来的一种算法

常检测算法。

◇ OneClassSVM 属于奇异点检测 (Novelty Detection);

通过排除了所有异常样本的数据集建立模型，并在此基础上在新数据中寻找潜在的异常点。

2.OneClassSVM 算法的主要参数：skleran.svm.OneClassSVM(nu,kernel,gamma)

① nu - 期望的异常值比例(默认0.5)

② kernel- 核函数 (rbf- 高斯核 [ 最 常 用 ] ,poly-线性核，l inear-线性核)

③ gamma -rbf核函数的参数

LOF 异常检测算法

LOF（局部离群因子）:该算法基于k近邻方法实现异常检测功能。

◇ 孤 立 森 林 和LOF 属于离群点检测 (Outlier Detection);

即训练数据集中包含异常样本，则旨在通过模型区分正常数据点与异常数据点之间的差异。6.LocalOutlierFactor(LOF)算法的主要参数有两个：比例因子以及用于计算局部密度的方法

skleran.neighbors.LocalOutlierFactor(n_neighbors,contamination)

① n_neighbors -KNN 邻居个数(默认20)

② contamination- 异常值比例

第5章 模型评估与优化

本章内容主要阐述了模型评估与优化的方法，并涵盖以下内容：采用交叉验证方法对模型进行评估、运用网格搜索实现自动调参、学习并掌握常用的模型评估指标、此外还包含了利用Pipeline构建算法链的过程。

本章的主要知识点如下：

交叉验证

1. 交叉验证 (cross -validation) 是一种评估模型泛化能力的统计学方法。

在交叉验证过程中, 数据经过多次分割(多个训练/测试集合), 通过这些集合进行模型的训练与评估.

相比于仅仅进行一次训练集与测试集的划分, 交叉验证能够更加精准地、系统性地评估模型的整体性能.

交叉验证 (cross validation)的基本概念是将数据集反复分割成多组训练集与测试集，在每组中分别进行训练与验证，并综合多轮结果来全面评估模型性能。这种方法不仅能够更加全面准确地评估模型表现能力，还特别有助于提高模型的泛化能力。

3. 交叉验证的优点：

① 模型评估更客观、全面、稳定；

② 对数据的使用更高效。

主要缺点在于提升了计算开销。其中，在k折交叉验证的过程中, 必须训练并评估k个不同的模型

而不是1个。

5.Scikit-learn 中，交叉验证函数为cross_val_score。

◇ 参数cv表示划分的折数k, 通常取值3、5或10。

◇ 比 如cv=3,表示将数据集分为3份进行交叉验证，其返回值为3次评估的成绩。

交叉验证方法

1.K- 折交叉验证( k-fold cross validation)

◇ 最常用的交叉验证方式。折数K 是由用户指定的数字，通常取3、5或10。

2. 留一法交叉验证 (leave-one-out cross validation)

◇ 在极端情况下（即当k趋向于无穷大时），该方法等同于k-折交叉验证的一种特殊情况：在这种特殊情况下（即每个子集仅包含一个样本），所使用的k-折交叉验证与常规k-折交叉验证有何不同？

◇ 每次选取一个样本作为测试数据集、剩余样本作为训练数据集进行处理。每个样本都会对应训练一个模型，并用于验证。

◇ 有多少样本就会评估多少次。例如样本数为150********, 则交叉验证返回150 个结果。

3. 打乱划分交叉验证 (Shuffle-split Cross Validation)

◇ 这是一种高度灵活的交叉验证方法。其主要优势在于, 它能够同时指定训练集和测试数据集划分

集的大小(样本数量或者比例)和划分次数(即迭代次数),主要参数如下：

① n_splits: 划分次数

② train_size: 训练集样本数量或比例

③ Test_size: 测试集样本数量或比例

◇ 打乱划分交叉验证可选择部分样本参与评估，在一定程度上更适合大型数据集运用。相比之下，在小规模数据集上更为适用的是一种留一法交叉验证方法。

GridSearchCV********自动调参

1. 参数优化的目标是在模型中找到一组最优参数。
需要注意避免将调参过程应用于测试数据集上；这样做可能会导致对测试集过高的依赖从而影响评估结果的有效性，并且建议将测试集仅用于验证而非训练阶段。

Scikit-learn 包含了网格搜索（GridSearchCV）这一工具来进行自动化地优化模型参数。该工具系统性地遍历预定义的参数集合，并且不仅还拥有交叉验证机制来评估不同组合的效果，在完成所有可能性评估后能够确定最优的参数配置。

3. 网格搜索 (GridSearchCV) 的参数主要包括：

① 参数1:所用的模型

② 参数2:预定义的参数取值列表

③ 参数3:交叉验证的次数CV

4.GridSearchCV 的常用属性有：

① best_params_: 最佳参数组合

② best_score_: 最佳参数组合的成绩

TP****、TN、FP、****FN

1.TP:True Positive (真正):指真实情况与预测结果均为"正"的情况。
2.TN:True Negative (真负):指真实情况与预测结果均为"负"的情况。
3.FP:False Positive (假正):指真实情况是"负"但被误判为"正"的情况。
4.FN:False Negative (假负):指真实情况是"正"但被误判为"负"的情况。

在该系统中,我们将男性设为阳性类别(P)，女性设为阴性类别(N)

① TP (真正):将男生预测为男生。

② TN (真负):将女生预测为女生。

③ FP (假正):将女生预测为男生。

④ FN (假负):将男生预测为女生。

混淆矩阵

混淆矩阵用于记录各类别预测结果的数量（即在预测结果中各类别各自出现的次数），同时适用于评估二分类及多分类模型的效果

矩阵中的每一行数据代表一个实际类别的预测结果数量分布情况(具体来说,每行中的数字总和即为该实际类别的样本数量)

矩阵中的每一列代表预测结果中某一类别的数量分布情况（其中每一列所对应的数字总和等于该预测结果所涉及的样本总数）。

2.Scikit-learn 中，二分类问题的混淆矩阵每个数字分别表示[TN,FP],[FN,TP]]。

3. 混淆矩阵中，所有元素之和即为全部样本的总数。

准确率、精确率、召回率、 F1****值

1. 准确率 (Accuracy,ACC)

在全部样本数据中，在所有样本中进行分类模型运行后得到的结果与真实结果相匹配的情况所占的比例即为该分类模型的正确率（也被称为准确率），其中score方法返回的就是这个指标值。

的就是准确率)。

◇ 计 算 公 式 ：ACC=(TP+TN)/(TP+TN+FP+FN

2. 精确率 (Precision,P)

◇ 含义：预测为正类的样本中，真正是正类的比例，又称查准率。

◇ 计算公式：P=TP/(TP+FP)

3. 召回率 (Recall,R)

◇ 含义：实际为正类的样本中，预测为正类的比例，又称查全率。

◇ 计算公式：R=TP/(TP+FN

4. F1值

◇ 含义：精确率与召回率的调和平均，综合衡量精确率与召回率，其值在0-1之间，

只有精确率与召回率都比较高时F1 值才较高。

◇ 计 算 公 式 ：F1=(2PR)/(P+R)

5. 精确率和召回率更关注正样本的情况。

◇ 在正负样本数量均衡的情况下，精确率和召回率能正常评估模型。

当训练集中的正负类样本数量存在显著差异时，在这种情况下由于精确率与召回率均着重评估模型对正类样本的表现 二指标不适合用来全面衡量模型性能

ROC********曲 线

ROC(Receiver Operating Characteristic Curve) 全称是‘诊断性能指标曲线图’。

◇ 该曲线以假正率(FPR) 和真正率(TPR) 为轴的曲线，

◇ 横坐标为 FPR, 纵坐标为TPR。

◇ roc_curve 函数计算 FPR 和 TPR.

2.TPR(True Positive Rate): 真正率(灵敏度),实际是对的、预测为对的比例。

◇ TPR 越大越好，1为理想状态。

◇ 计算公式：TPR=TP/(TP+FN)。

3.FPR(False Positive Rate): 假正率(特异度),实际是错的、预测为对的比例。

◇ FPR越小越好，0为理想状态。

◇ 计算公式：FPR=FP/(FP+TN)。

4. ROC曲线上每一个坐标点都对应于一个特定阈值下的模型真阳性率（TPR）和假阳性率（FPR），将这些点连接起来就组成了ROC曲线。

AUC********指 标

1. ROC 曲线向左上方延伸 (AUC值越大)，能够更好地区分正负类样本；反之则模型分类能力较弱。
2. AUC值即为ROC曲线下方的覆盖区域大小（Area Under Curve, 曲线下面积）。

◇ AUC值越大，模型性能越好。 个 auc 函数计算 AUC 值。

阈值

1.ROC 曲线上的点，代表着选取一系列阈值 (threshold) 产生的结果。

阈值(也称临界值)：在许多分类模型中,模型预测的结果不是负类别/正类别

（positive class）被定义为样本属于negative category或者positive category的概率。那么，在多大程度上我们视该样本为negative category或者将其归入positive category？该判断的数值被称为阈值（threshold）。

◇比如：阈值=0.5,则预测结果>0.5,即为正类，否则为负类。

3. ROC曲线实际上是基于阈值从小到大的变化方向进行评估模型泛化能力的一个重要指标。

P-R****曲 线

1.P-R 曲线：是精确率-召回率曲线，直观反映二者间的关系。

◇ 以召回率 (Recall)为 X 轴， 个 精确率(Precision)为 y 轴。

2.P-R 曲线同样通过设定多个不同阈值(threshold)，分别计算每个阈值对应的精确度与召回率(precision and recall)，从而绘制出一条P-R曲线图。

3. 模型的精确度与召回率之间存在权衡关系，在一般情况下（或普遍情况下），P-R曲线整体向右上方凸起趋势，则表示模型性能较好

4. 在不同应用场景，使用ROC 曲线和 P-R曲线的效果会有一些差别。

◇ 在正负样本数量均衡的情况下，P-R曲线和ROC 曲线的趋势差不多；

当样本数量较多时P-R曲线的表现效果欠佳，在这种情况下ROC曲线更适合使用（因为其精确率和召回率较低）。

率更关注正样本的情况)。

Pipeline

在机器学习中, 通常会采用多种算法模型以完成某一特定任务, 例如在构建机器学习 pipelines时, 首先应用预处理模块, 然后结合分类或回归模块. 通过 Pipeline（管道）即可将这些组件有机整合.

一个完整的算法流程能够系统性地采用常见的 fit、score 和 predict 操作。
Pipeline（管道）的作用主要体现在：

① 构建算法链可以简化模型代码(避免多个模型重复调用 fit 等方法);

② 同时还可以避免因模型之间数据不一致导致的性能问题。

Pipeline 的经典应用场景是集成预处理流程与监督学习模型，并且可以通过网格搜索与交叉验证技术实现参数优化以选择最佳模型及对应的参数设置。

Pipleline 创建方法

1. 创建方法一：快速构建 Pipeline 对象；导入 sklearn.pipeline 库。

管道=管道([ (Model Name, Model Object), (Model Name, Model Object) ……]) 的一个优势是灵活设置模型名称。

◇ 缺点：书写比较复杂。

2. 创建方法二：使用make_pipeline函数

from sklearn.pipeline import make_pipeline

pipeline=make_pipeline (模型对象，模型对象……)

◇ 优点：书写简洁。

◇ 缺点：缺点在于无法自行指定模型名称；函数会自动对模型对象进行命名；默认将命名为基于类名的小规模。

写。