格院ML01 Intro to machine learning
发布时间
阅读量：
阅读量
Intro to machine learning
机器学习基础知识
-
Machine learning 的定义：
- machine learning refers to a system capable of the autonomous acquisition and integration of knowledge 机器学习是指能够自主获取和整合知识的系统
-
Machine learning的重要性/优点/为什么需要ML
- No human experts 在一些领域缺乏专家，机器学习可以填补这一空白
- black-box human expertise 机器学习可以处理一些高度复杂但难以解释的任务，例如面部识别、手写识别
- rapidly changing phenomena 一些问题由于快速变化的动态环境而难以通过传统方法解决，比如信用评分、金融建模
- need for customization/ personalization 机器学习技术可以根据用户需求提供个性化的服务，例如个性化新闻推荐以及电影/书籍推荐。
- “只有机器才能理解每天生成的大量数据”（Only Machines can make sense of the Massive Amount of Data Generated each day ），强调了机器学习在处理海量数据方面的重要性。
-
机器学习的三大种类
- Supervised learning 监督学习
- Unsupervised learning 无监督学习
- Reinforcement learning 强化学习
监督学习
Supervised learning是什么
* 在监督学习中，**训练数据** 包括输入向量的示例沿着它们对应的**目标向量** 。 **target vectors** * 它的定义是训练算法对**数据进行分类并准确预测结果** 的能力。**categorize data and predict outcomes** * 它教会计算机系统使用可用数据**找到隐藏的见解** 。 **find hidden insights** * 它还准备算法来执行智能和智能任务，而无需人工干预。流程图
监督学习的特点：
* 监督学习使用训练模块来**教授算法** 以产生所需的输出。**teach algorithms** * 监督学习符合数据科学的含义，强调使用**自主和无错误的系统** 和流程来实现自动化和效率 **self-reliant and error-free systems** * 训练包括使用通过数据挖掘和其他过程收集的**标记数据集** 作为输入，以得出正确的输出。 **labelled data sets** * 培训模块具有解释性和灵活性，允许机器随着时间的推移学习新的功能和流程。监督学习中常用的7个算法
* Regression 回归
* Naive Bayes 朴素贝叶斯
* Classifier 分类器
* K-Nearest Neighbor（KNN） K近邻算法
* Support Vector Machines （SVM）支持向量机
* Random Forest 随机森林
* Neural Networks 神经网络Example：Hand-writing Recognition
* 我们有一个用于调整参数的**训练集**{X1，…，XN}。**training set** * 使用**目标向量t** 表示数字的类别。注意，对于每个数字图像t，存在一个这样的目标向量t。**target vector t** * 机器学习算法的结果**可以表示为函数y(x)** 。
* 在**训练阶段** （也称为**学习阶段** ）期间，基于训练数据来确定y(x)。 **learning phase** * 一旦模型被训练好，我们就使用新的数字图像来评估它，这称为**测试集** 。**test seet** * 正确分类(不同于用于训练的)新示例的能力被称为**泛化** 。generalization一些概念的定义
* 训练集是什么：training set is used for tunning the parameters
* 目标向量是什么：target vector t expressed the category of each x
* 函数y(x)是什么：y(x) is the result of running the machine learning algorithm
* 训练阶段在干什么：determine y(x) on the basis of the training data
* 测试集是什么：the set used to evaluate the trained model
* 泛化是什么：generalization is the ability to categorize correctly new examples that differ from those used for training监督学习的应用：
* **图像和对象识别Image and object recognition** ：计算机视觉技术和图像分析 computer vision and imagery analysis。
* **预测分析Predictive analytics** ：提供对各种业务数据点的深入洞察 provide deep insights into various business data points
* **客户情绪分析Customer sentiment analysis** ：可以从大量数据中提取和分类重要信息，包括**上下文、情感和意图 context, emotion and intent; — > gain a better understanding of customer interactions** * **垃圾邮件检测Spam detection** ：识别新数据中的模式或异常 recognize patterns or anomalies in new data监督学习的挑战：
* 监督学习模型可能需要一定水平的专业知识才能准确构建。supervised learning models can require certain levels of expertise to structure accurately
* 训练监督学习模型可能非常耗时。training supervised learning models can be very time intensive
* 数据集可能有更高的人为错误可能性，导致算法学习不正确。datasets can have a high likelihood of human error, resulting in algorithms learning incorrectly
监督学习不能自己对数据进行聚类或分类。
supervised learning cannot cluster or classify on its own
分类vs回归
| 一个分类问题要求样本被分为两个或多个类中的一个 | 回归问题需要预测一个量 |
|---|---|
| 分类可以具有实值或离散输入变量 | 回归可以有实值或离散输入变量 |
| 一个有两个类的问题通常被称为两类或二元分类问题 | 具有多个输入变量的问题通常称为多元回归问题。 |
| 一个有两个以上类别的问题通常被称为多类分类问题 | 输入变量按时间排序的回归问题称为时间序列预测问题 |
| 一个例子被分配了多个类的问题被称为多标签分类问题 |
非监督学习
Unsupervised learning是什么
* 无监督学习使用机器学习算法来**分析和聚类未标记的数据集** 。 analyze and cluster unlabelled datasets
* 这些算法发现**隐藏的模式或数据分组** ，而无需人工干预。hidden patterns or data groupings
* 无监督学习算法**不需要输入到输出映射** 来学习映射函数 do not require input-to-output mappings
* 这就是我们所说的“没有老师被提供给学习算法”的意思。
* 因此，无监督学习算法**无法执行分类或回归** 。 cannot perform classification or regression流程图
非监督学习的特点
* 训练数据由**一组输入向量x组成，没有任何对应的目标值a set of input vector x without any corresponding target values** ，目标是
* 发现数据中的相似示例组，称为**聚类cluster** ，
* 确定输入空间中的数据分布，称为**密度估计density estimation** ，
* 为了**可视化visualization** 的目的，将数据从高维空间投影到二维或三维。非监督学习常用的算法：
* Clustering聚类： 目标是将数据点分组到不同的簇中，以便组内相似性高，组间差异性大。
* K-means clustering (exclusive clustering method) K-means 聚类排他聚类方法）
* Gaussian Mixture Models (Probabilistic clustering) 高斯混合模型（概率聚类）
* Association rules关联规则：目标是找到数据之间的隐藏关系，通常用于市场篮子分析（Market Basket Analysis）
* Apriori algorithms：这是一种挖掘频繁项集和关联规则的算法，常用于发现例如“购买面包的人更可能购买黄油”的模式。
* Dimensionality reduction降维：用于将高维数据投影到低维空间，同时尽量保留数据的重要特征。
* Principal Component Analysis主成分分析：通过线性变换找出数据中最大方差的方向。
* Singular Value Decomposition奇异值分解：一种矩阵分解技术，广泛用于数据压缩和推荐系统
* Autoencoders自动编码器：一种基于神经网络的降维方法，用于自动学习数据的低维表示。非监督学习的应用：
* **新闻部分News Section** ：对来自各种在线新闻媒体的同一故事的**文章进行分类catergorize articles** 。例如，总统选举的结果可以归类为“美国”新闻。
* **计算机视觉Computer vision** ：无监督学习算法用于**视觉感知任务visual perception tasks** ，如物体识别。
* **医学成像Medical imaging** ：无监督机器学习为医学成像设备提供了基本功能，如**图像检测、分类和分割image detection, classification and segmentation** ，用于放射学和病理学，以**快速准确地诊断患者** 。
* **异常检测Anomaly detection** ：无监督学习模型可以梳理大量数据，并发现数据集中的典型数据点。这些异常可以提高对故障设备、人为错误或安全漏洞的认识。
* **客户人物角色Customer persona** ：定义客户人物角色可以更容易地了解共同特征和商业客户的购买习惯。无监督学习允许企业建立更好的买家角色配置文件，使组织能够更适当地调整其产品信息。
* **推荐引擎Recommendation Engines** ：利用过去的购买行为数据，无监督学习可以帮助发现数据趋势，从而制定更有效的交叉销售策略。这用于在在线零售商的结账过程中向客户提供相关的附加建议。非监督学习的挑战：
* 大量训练数据导致计算复杂性Computational complexity due to a high volume of training data
* 训练时间更长Longer training times * 结果不准确的风险更高
Higher risk of inaccurate results * 验证输出变量的人为干预
Human intervention to validate output variables
数据聚类基础缺乏透明度
Lack of transparency into the basis on which data was clustered
监督学习vs非监督学习
| 监督学习 | 非监督学习 | |
|---|---|---|
| Objective | 根据输入输出对的例子，近似一个将输入映射到输出的函数。To approximate a function that maps inputs to outputs based out example input-output pairs | 构建数据的简洁表示，并从中生成富有想象力的内容。To build a concise representation of the data and generate imaginative content from it |
| Accuracy | Highly accurate and reliable | Less accurate and reliable |
| Complexity | Simpler method | Computationally complex |
| Classes类别 | Number of classes is known | Number of classes is unknown |
| Output | A desired output value | No corresponding output values |
左侧：监督学习 - 分类（Classification） * 每个数据点都有一个已知的标签（如颜色或形状表示类别）。
* 任务目标 ：根据已标注的数据集训练模型，使其能够准确分类新的数据点。
* 特点 ：
* 输入数据明确分类（红点、蓝叉、绿星）。
* 边界线清晰，模型学习到不同类别的决策边界。
右侧：无监督学习 - 聚类（Clustering） * 数据点没有标签或类别。
* 任务目标 ：自动发现数据的模式或结构，将相似的数据点分组。
* 特点 ：
* 数据点通过相似性被分为不同的簇（蓝色虚线圈表示不同的簇）。
* 没有已知的类别，结果依赖算法对数据结构的理解。
强化学习
Reinforcement learning是什么
* 强化学习关注的是在给定情况下**找到合适的行动** 以**最大化奖励** 的问题。**finding suitable actions to maximize a reward** * 与监督学习相比，学习算法没有给出最佳输出的例子，而是必须**通过试错过程来发现它们 discover them by a process of trial and error** * 存在**一系列状态和动作 a sequence of states and actions** ，其中学习算法与其环境进行交互。强化学习的特点
* 强化学习（RL）是机器学习的一个子集，它允许人工智能驱动的系统（有时称为代理）使用**来自其动作的反馈通过试错来学习。Learn through trial and error using feedback from its actions** * 这种反馈**要么是消极的，要么是积极的** ，以**惩罚或奖励** 的方式发出信号，当然，**目的是最大化奖励功能。** * RL从错误中学习，并提供尽可能接近自然智能的人工智能。强化学习vs监督学习
* 共同点：就学习方法而言，RL与监督学习的相似之处在于它使用输入和输出之间的映射，但这是它们唯一的共同点。 **it uses mapping between input and output** * 不同点：
* 在监督学习中，反馈包含agent要遵循的正确动作集。
* 在RL中，没有这样的answer key。agent决定自己做什么来正确执行任务。强化学习vs非监督学习
* 无监督学习的目标是找到数据点之间的相似性或差异，
* 但RL的目标是找到最合适的动作模型，以最大化RL代理的总累积奖励。RL’s goal is to find the most suitable action model to maximise total cumulative reward for the RL agent * 在没有训练数据集的情况下，RL问题由智能体自己的动作和来自环境的输入来解决。
流程图
强化学习常用的算法
* **Q-learning** ：一种值迭代方法，通过更新状态-动作值（Q值）表格来寻找最优策略。
* **Deep Q Network(DQN**)：结合深度学习的强化学习算法，用神经网络近似 Q 函数
* **Markov Decision Process(MDP)** ：使用状态、动作、奖励等数学结构描述决策问题的模型
* **Deep Deterministic Policy Gradient(DDPG)** ：用于连续动作空间的强化学习算法，结合了策略梯度和深度学习强化学习的三种应用：
* **Policy-based基于策略** 的强化学习使用策略或确定性策略来最大化累积奖励
* **Value-based基于值** 的强化学习尝试最大化任意值函数
* **Model-based基于模型** 的强化学习为特定环境创建虚拟模型，并且代理学习在这些约束内执行summary
全部评论 (0)
还没有任何评论哟~