【人工智能】基础知识

人工智能基础

• 绪论
• • 人工智能的定义
  • 三个主要研究方法

机器学习技术涉及数据分析与模式识别方法的研究与应用。
该技术旨在通过数据挖掘与特征提取实现信息智能处理。
学习过程主要涵盖数据样本的输入与系统响应的学习机制。
从数据特征中归纳出分类方法并应用于未知实例属于机器学习的核心目标。
在监督学习框架下主要采用基于规则的学习方式。
具体而言：
线性回归模型用于建立变量间线性关系；
分类概率模型则用于估计样本所属类别概率；
线性分类器通过决策边界将不同类别分开；
支持向量机（SVM）则通过最大化间隔实现最优分类；
树状分类系统则基于特征分割构建多级分类结构。

* 无监督学习
* * K-均值算法（K-means）
  * 主成分分析（PCA）

* 弱监督学习
* * 主动学习
  * 半监督学习
  * 迁移学习

• 深度学习

• • 人工神经网络
  • • 激活函数
    • 损失函数（计算误差大小）

• 模型参数优化

• 深度学习研究前沿领域

• • 自监督学习作为一种方法，在无标签数据条件下实现有标签数据的学习转化过程。

  • 可解释性深度学习模型

  • 抗干扰攻击处理与防御机制设计

  • 超大规模的深度模型构建技术

  • 强化学习（行为主义）

  • • 马可夫决策过程
    • 强化学习算法

  • 开发库（Python）

  • • 机器学习
    • • Numpy
      • Pandas
      • Scikit-Learn
      • Scipy

深度学习技术
* TensorFlow（对开发语言支持全面）
* PyTorch（专为训练神经网络设计）
* 飞桨（百度官方提供的深度学习平台）

绪论

人工智能的定义

百度百科 ：人工智能是"探究人类与机器共存条件下智能活动规律及发展规律的理论体系及其应用"的一门新兴的技术学科。我们将其归入计算机科学的一个重要领域，并专注于机器人技术、语言识别与合成、图像识别与生成以及自然语言处理等方面的研究

三个主要研究方法

在符号主义理论中,人类思维的基本单位被视为符不符合号,而这些符不符合号之间的运算是构成认知过程的关键环节.因此,在某种程度上可以说人与计算机都可被视为具备逻辑推理能力的符不符合号系统.换言之,计算机通过符不符合号运算能够模拟人的智能活动.

连接主义
连接主义，又称仿生学派或生理学派。是一种基于神经网络和网络空间的连接机制的智能模拟方法。强调对人类的大脑直接模拟，特别是神经元之间的连接机制模拟。
1、形式化神经元模型（McCulloch，1943）
2、感知器（Rosenbalatt，1957）
3、反向传播法（Rumelhart，1986）
4、卷积神经网络（Waibel，1987）

行为主义
行为主义亦称进化主义或控制论学说是一种基于"感知—行为"的行为智能模拟方法其理论基础源自进化论与控制论主要依赖于控制理论及其感知-行动控制系统。
1 六足机器人 MIT 1990
2 ATHLETE机器人 NASA 4 2009
3 AlphaFold 2 Google 2020

机器学习

定义

该研究旨在探索利用计算机技术模拟人类的学习方式，并通过这些方法以便掌握新知识或技能的同时对已有知识进行重新整合进而进一步提升学习效率与能力。

学习过程

计算机经过大量数据（训练集）的接收与处理完成了建模过程，
该过程使模型具备识别数据内在模式的能力，
从而实现了对未知数据（测试集）的分类或预测任务。
训练数据源：用于构建模型的基础信息集合。
测试数据源：用于评估模型泛化性能的数据样本。
验证数据源：用于优化模型参数并检验泛化能力的关键阶段。

分类

• 监督学习

  • 线性回归
  • 逻辑回归
  • 感知机
  • 支持向量机
  • 决策树

• 无监督学习

  • K-means
  • 主成分分析

• 弱监督学习

  • 主动学习
  • 半监督学习
  • 迁移学习
  • 多示例学习

监督学习

监督学习亦即涉及具有标记数据的学习过程，在此过程中指通过标记数据训练模型以优化其参数以使模型具备预期性能行为的能力。基于数据集中标签属性是否连续的不同场景下可划分为回归问题（针对连续变量）与分类问题（针对离散类别）。

线性回归

利用样本特征的线性组合来进行预测，则能够直观地体现数据样本中各特征对预测结果的影响。假设有一个d维的数据向量 x = [x_1,x_2,\dots,x_d] ，则其线性组合函数可以用以下公式表示：

f(x,w) = w_1 x_1+w_2x_2+...+w_dx_d+b=w^{T}x

其中w=[w_1,w_2, ..., w_d]；b为偏置值。w与b是在线性回归模型进行有监督学习的过程中需要学习的参数，在这些参数被确定之后，则该线性回归模型也随之被确定下来。

在机器学习任务中常见地采用损失函数以指导参数更新。该函数用于衡量预测值与实际值之间的差异程度，并被视为评价模型预测效果的关键标准。在线性回归问题中,最常用作损失函数的是均方误差,其优化目标在于使模型能够学习出一组最佳参数,以最小化样本均方误差为目标进行训练。

逻辑回归

逻辑回归被用来解决分类问题是一种线性模型。它通过引入一个非线性的决策函数（即激活函数）来构建模型，并使连续实数输出与分类标签之间的离散值之间建立了联系。

感知机

感知机作为神经网络的一种经典架构，在分类任务中常被用作一种简单的线性二类模型。它模拟了生物神经元的简单数学模型，并通过可学习的参数完成数据分类过程。其基本组成包括一个输入层、加权求和层以及非线性激活层。具体而言，在感知机中：输入端对应树突；权重系数对应突触；偏置项模拟了神经元的阈值作用；而激活函数则模拟了细胞体的功能；输出则模拟了轴突的行为模式。其计算公式如下：
\hat{y}=sgn(w^{T}x )
其中\hat{y}表示预测目标值；w^{T}为可学习的权重向量；x为输入特征向量；sgn()为符号函数用于输出判断；这个数学表达式完整地描述了感知机的工作原理及其在数据分类中的应用机制。

支持向量机（SVM）

最初被应用于解决二分类问题的解决方案，在经过不断的改进后如今已被广泛应用于多个领域。其核心理念在于将数据点之间的距离最大化。

决策树

用于解决分类与回归问题旨在采用简单且直观的"分而治之"学习策略。该方法具备高效分类及易于理解的特点。

无监督学习

一种无需标签的数据学习方法旨在通过分析未标注的数据来揭示其固有特征。该方法通过探索数据的本质特征及其内在联系，并假设在数据空间中相似的样本通常位于相近的位置来进行分类。这种技术可应用于关联分析、聚类问题以及降维分析等问题的研究与求解。

K-均值算法（K-means）

该迭代优化算法旨在将训练数据集划分为若干个互不重叠且具有代表性的数据群组，并通过计算各群组内特征指标的平均值得出各个群组的核心点。

主成分分析（PCA）

该维度缩减技术旨在通过特定的线性变换手段实现对高阶数据结构的空间转换与优化处理。具体而言，在这一过程中系统将原始输入样本所处的空间维度进行精确建模，并将其映射至一个更低维度的目标空间中以提高处理效率和准确性。

弱监督学习

其用于训练模型的数据数量有限，并且存在噪声干扰或标注不够准确的问题。在缺乏足够的监督信息的情况下，则期待机器学习技术能够在弱监督环境中主动学习出有效的数据特征表示方法。

主动学习

主动学习假设基于从未标记的数据集中查询真实标签。当存在少量有标签数据和大量无标签数据时，在这种情况下主动学习的整体思路是利用机器学习方法识别那些较难分类的样本数据，并通过人工的方式对其进行标注；随后将人工标注的数据再次用于训练以提升性能模型

半监督学习

在有限 labeled data 和海量 unlabeled data 的情形下，在训练过程中（或说 model training），该模型有一部分数据是带 label 的（或说是 labeled），而另一部分则是没有 label 的（或说是 unlabeled）。

迁移学习

目标任务的训练样本数量相对较少，在一个拥有丰富训练样本的相关领域中进行研究时，并且尽管两类样本集在分布上存在差异，并且目标任务本身也存在差异；在这种情况下，在该相关领域中可以提取出一些具有泛化性的知识点，并为目标任务提供有益的支持；而在这一情形下，则如何将该领域的可泛化知识点迁移到目标领域的研究，则成为迁移学习的一个核心问题。

深度学习

在机器学习领域中

复杂度

• 前向神经网络模型

  • 卷积神经网络
  • 注意力机制

• 生成器：一种基于无监督学习的方法，在概率空间中通过最大化数据与生成器输出之间的概率匹配来估计未知数据的统计特性。

• 包括诸如DCGAN、WGAN以及BigGAN等多种类型的生成对抗网络。

  • 序列模型：一般指自循环的神经网络算法。
    • 循环神经网络（LSTM、RNN）等。

人工神经网络

人工神经网络是构建对人脑神经网络的模型；由多个节点（人工神经元）构成；能够分析数据间的复杂关系。

激活函数

sigmoid 、 tanh 、 ReLU 、 Leaky ReLU 、 GELU 、 swish

损失函数（计算误差大小）

交叉熵损失函数、Dice损失函数、均方误差损失函数

参数优化

梯度下降和反向传播法

深度学习前沿

自监督学习：一类将无监督学习转化为监督学习的算法。

可解释性深度学习

模型可解释性是指模型以可理解的术语向人类解释或展示能力。

对抗攻击与防御

抗 辩 样 本 ：由 微 小 但 难 以 觉 觉 的 噪 声 干 扰 构 成 的 输入 样 本 ，它 能 够 使 模 型 被 � Manipulate 产 生 错 误 的 结 果 。
抗 辩 攻 击 ：通 过 特 定 技 术 手 段 产 生 具 有 Manipulative 效 应 的 输入 样 本 。
抗 辩 防 护 ：使 模 型 具 备 抗 干 扰 能 力 ，在 面 对 经 过 攻 击 处 理 后 的 输 入 样 本 能 够 正 常 工 作 。

超大规模模型

GPT-3、悟道2.0、“华智冰”

强化学习（行为主义）

强化学习用于描述智能体在与环境的交互过程中通过持续的学习过程最终达到最大化的累积奖励或完成特定任务的目标。在无人驾驶技术及机器人技术等领域有广泛的应用。强化学习的过程主要包括智能体、环境、状态、动作以及奖励五个关键组成部分。

马可夫决策过程

强化学习算法

动态规划
蒙特卡罗法
时序差分法
深度Q网络

开发库（Python）

机器学习

Numpy

一个由多维数组对象和处理这些数组的函数集合组成的库。

Pandas

基于Numpy，简单直观的处理关系型数据。

Scikit-Learn

机器学习库，实现了各种常用的机器学习算法。

Scipy

通过增强便捷且高效的高维数组处理能力，在机器学习领域中针对底层原理设计的优化算法得到了开发。

深度学习

TensorFlow（深度学习、机器学习，对开发语言支持全面）

PyTorch(训练神经网络的深度学习平台)

飞桨（百度的深度学习平台）