机器学习中模型参数和模型超参数分别是什么？有什么区别？

在机器学习领域中，请解释以下术语：什么是模型参数？什么是超参数设置？两者之间有何不同？

目录

机器学习中模型参数和模型超参数分别是什么？有什么区别？

参数是什么？

参数和模型的关系？

什么是模型参数？

什么是模型超参数？

模型参数和模型超参数的联系

模型参数和模型超参数区别

总结

What is the Difference Between a Parameter and a Hyperparameter?

What is a Model Parameter?

What is a Model Hyperparameter?

Further Reading

Summary

---

在功能与源由方面存在显著差异的一组概念是机器学习中的"model parameter"与"hyperparameter"。值得注意的是，在学术界及实际应用中,"hyperparameter"这一术语往往被误称为"parameter"。这种命名上的混淆容易让初学者陷入困惑。本文对此进行了明确界定，并展开了比较分析。通过明确阐述两者的本质差异,揭示了它们的本质差异:具体而言, model parameter指的是model内部的配置变量,其数值可通过数据估算出其数值；而model hyperparameter则是位于model外部的重要配置项,必须通过人工设定来确定其值。

在开展研究的过程中（原文：我们在做研究的时候），我们经常会遇到各种专业术语。然而（原文：有时），由于不同研究领域的特点（原文：不同研究领域），偶尔会使用相同名称的术语（原文：同样名称）。例如（注释：此处插入例子），在统计学和经济学领域中经常使用的术语被称为"模型参数"和"模型超参数"（注释：数学表达式的引用），而在机器学习领域中也会遇到同样的概念表述（注释：补充说明）。

在机器学习领域中，“模型参数”与“模型超参数”在功能和形成途径上存在显著差异。对于新入学者而言，在缺乏对两者的清晰认识时,理解和掌握这两个概念往往较为困难。尤其是那些主修统计学或经济学的读者会面临较大的挑战。

本文旨在明确区分
"参数模型"与"超参数模型"
以便于读者更好地理解其区别。
在机器学习的应用场景中，
我们将深入探讨这两个关键概念，
以确保理解的一致性和准确性。

参数是什么？

参数代表模型从历史训练数据中提取出的部分，在机器学习算法中占据基础地位。

统计学中的参数：

从统计学的角度来看，在假设变量遵循某种分布时，默认选择高斯分布是一种常见做法。该分布在两个关键参数上表现出显著特征：平均值μ和标准差σ。在机器学习领域中这种方法具有重要价值，在实际应用中可以通过数据估计获得这些关键参数作为预测模型的基础。

编程中的参数：

在编程环境中作为输入变量传递给该函数实现。
在这种情况下，
输入变量具有一个确定的取值范围。
在机器学习领域，
您所使用的特定的机器学习模型本质上就是一个数学函数，
它需要接受新的数据样本作为输入来进行预测。

参数和模型的关系？

基于经典的机器学习文献研究结果表明，在实际应用中我们可以将模型视为构建的基础性框架，并且其中的参数则被定义为在特定数据集上对模型进行优化调整的关键因素。其中模型被视为构建的基础性框架

该系统通过识别输入数据中固定数量与可变数量的参数特征，在训练过程中动态划分该类型数据为'参数型'与'非参数型'分类任务。

什么是模型参数？

简单来说，模型参数就是模型内部的配置变量，可以用数据估计它的值。

具体来讲，模型参数有以下特征：

• 在执行模型预测的过程中，模型参数是必需的。
• 通过设定合适的数值范围或取值区间（...），可以实现对模型功能的有效定义。
• 通过数据估计或数据学习的方法获取到相应的数值。
• 在多数情况下，默认情况下这些参数都是由系统自动初始化的。
• 这些数值通常会被整合到训练过程中的权重矩阵中。

在估计模型参数时通常采用优化算法，在寻找其最优取值范围的过程中，这种算法能够系统性地探索潜在解空间。

模型参数的一些例子包括：

• 人造神经网络中的参数。
• 支持向量机中的关键样本。
• 线性回归与逻辑回归的模型参数。

什么是模型超参数？

模型超参数是模型外部的配置，其值不能从数据估计得到。

具体特征有：

在估计模型参数的过程中，模型超参数常被应用。
实践者一般会直接指定这些超参数。
这些超参数一般可以通过启发式方法来设置。
这些超参数一般会根据所处理的特定预测建模问题而被调整。

如何获取这个模型的最优参数？针对任意给定的问题，在不同的超参数设置下可能会有不同的表现效果。因此无法预先确定该模型在不同超参数设置下的表现。然而我们可以采用一些经验法则或启发式方法来估算其最佳参数配置或者借鉴其他类似问题的最佳实践；此外还可以通过不断实验和验证的方式逐步找到适合当前任务的最优化配置方案。

模型超参数的一些例子包括：

• 训练神经网络的学习速率。
• 支持向量机的C和sigma超参数。
• k邻域中的k。

模型参数和模型超参数的联系

当在解决特定问题时优化机器学习算法时, 通常使用网格搜索或随机搜索来优化模型或命令的超参数, 以便找到使模型预测效果最佳的一组参数. 许多关键参数无法直接从数据中推断得出. 例如, 在K近邻分类模型中...这类关键参数被称为超参数, 因为它们没有可用的分析公式来为其计算一个合适的值.

模型参数和模型超参数区别

模型超参数通常被称为模型参数容易引起歧义。一个好的经验法则是如果需要手动指定一个特定的值来表示某个概念（即你希望这个值不依赖于训练数据）那么这可能意味着这个值实际上是该系统的超参数设置

总结

在学习过程中，模型通过训练数据推导出相应的参数。这些参数包括如神经网络中的权重和偏差等变量，在公式y=wx+b中体现为系数w和b。另一方面，在算法应用层面作为用户自定义设定的部分，则有超参数这一概念。这些超参数主要包括如神经网络隐藏层数量等变量，并其作用在于估计相关模型参数的过程。

---

核心参考英文原文：

What is the Difference Between a Parameter and a Hyperparameter?

It can be confusing when you get started in applied machine learning.

A vast number of technical terms must be utilized, and unfortunately, many of these vocabulary may lack consistency in their usage. This issue is particularly pronounced if one has studied other academic disciplines that might employ similar terminology, but with varying degrees of applicability.

For example: the terms “ model parameter ” and “ model hyperparameter.”

The absence of clear definitions for these terms represents a persistent issue, particularly among those originating from the fields of statistics or economics.

In this post, we will take a closer look at these terms.

Could you explain the key distinction between a Parameter and a Hyperparameter?
Photo by Irol Trasmonte, some rights reserved.

What is a Model Parameter?

A model parameter refers to a configurable setting located internally within the model architecture, which is designed to be estimated using available data.

• The model mandates their requirements for predictions.
• These parameters determine or assess the model's skill on your specific problem.
• These metrics are either estimated or learned from available data.
• No manual setting is typically involved in configuring these aspects.
• These configurations remain integrated into the trained models without manual intervention.

Parameters play a crucial role in machine learning algorithms. They represent the components of the model that are learned from historical training data.

In the classical machine learning literature, we can see the model as a hypothesis and hyperparameters as its adjustments to specific data. This reflects a fundamental assumption in understanding how models are tailored to fit particular datasets.

Model parameters are commonly determined through the application of an optimization algorithm that functions as an efficient search mechanism for exploring potential parameter values.

• Statistics : 在统计学中，我们可以为变量设定一个分布形式，例如高斯分布的形式。高斯分布的核心参数包括均值（mu）和标准差（sigma）。这些原理同样适用于机器学习领域，在此场景下，这些参数可通过数据估计并用于构建预测模型。
• Programming : 在编程中，您可以通过传递参数给函数来执行操作。在这种情况下，一个参数实际上是函数的一个自变量（argument），它可以取一系列可能的值中的一个。在机器学习中，在您使用的特定模型作为函数的情况下，在对新数据进行预测时需要特定的参数。

A model's having a fixed or variable number of parameters decides whether it is commonly referred to as " parametric " or " nonparametric ".

Some examples of model parameters include:

• Parameters within an artificial neural network.
• The key players within a support vector machine (SVM) are the support vectors.
• The parameters within linear regression models or logistic regression are referred to as coefficients.

What is a Model Hyperparameter?

A model hyperparameter represents a configuration that is external to the model and which cannot be estimated from data.

• These methods are typically applied during the process to assist in estimating model parameters.
• Their application involves setting parameters through professional inputs.
• The values of these methods can generally be determined via heuristics.
• These techniques are commonly optimized for common applications in predictive modeling scenarios.

We cannot ascertain the optimal value of a model hyperparameter in a given problem. Heuristic guidelines, values taken from similar problems, and trial-and-error approaches can be employed.

When optimizing a machine learning algorithm for a specific issue, such as employing grid search or random search techniques, you are adjusting the hyperparameters of the model to identify its optimal parameters for achieving highly accurate forecasts.

Several models possess key parameters that cannot be directly calculated based on the dataset. For instance, within the K-nearest neighbor classification framework, these characteristics are exemplified by specific attributes that influence prediction accuracy. Such a model parameter is termed a tuning parameter due to the absence of an analytical formula for determining an optimal value.

— Page 64-65, Applied Predictive Modeling, 2013

Model hyperparameters are commonly called model parameters, potentially leading to confusion. An effective guideline exists below that clearly addresses the issue of model hyperparameters, providing a straightforward approach for their identification and optimization.

If you have to set a model parameter manually, then it is likely a model hyperparameter.

Some examples of model hyperparameters include:

• The learning coefficient is used in the training process of a neural network.
• The kernel parameters C and sigma are used in support vector machines.
• The variable k represents the number of nearest neighbors considered in the k-nearest neighbors algorithm.

Further Reading

• 深入探讨Hyperparameter的概念及其在机器学习中的应用 on Wikipedia
• 解析机器学习中的关键参数：Hyperparameter的角色与重要性* What are hyperparameters in machine learning? on Quora
• 模型超参数与模型参数：深入剖析它们之间的区别与联系* What is the difference between model hyperparameters and model parameters? on StackExchange
• 探索机器学习中被广泛认可的Hyperparameter定义及其影响* What is considered a hyperparameter? on Reddit

Summary

In this article, you have learned about the distinct definitions and the key distinction between model parameters and model hyperparameters.

Overall, model parameters undergo automatic estimation based on the provided data. Meanwhile, manual setting of hyperparameters is essential, serving as inputs for refining the parameter estimation process.

Model hyperparameters are commonly known as parameters, serving a crucial role in machine learning processes. They are essential components that require manual configuration and optimization.

This post may have provided some clarity for you. Could you share your thoughts in the comments section?

是否有您还不确定的模型参数或超参数？
欢迎在评论区留言，并由我尽力协助进一步澄清。

参考：机器学习中模型参数与超参数的区别

参考：机器学习填坑：你知道模型参数和超参数之间的区别吗？

参考：Hands-on-Machine-Learning-with-Scikit-Learn-Keras-and-TensorFlow

参考文献：探讨机器学习中的超参数问题（Quora）

参考：http://machinelearningmastery.com/difference-between-a-parameter-and-a-hyperparameter/详细解释了参数与超参数之间的关键区别，并提供了深入的技术分析。

参考：parameter vs hyperparameter