李宏毅机器学习课程知识点摘要（1-5集）

前5集

过拟合：

过多参数可能导致对数据集的表现过于完美。然而，在测试集中与数据源之间的关联较弱的情况下，则其预测效果往往低于较为模糊模型的表现。

所以找的数据集的量以及准确性也会影响

由于线性函数的拟合一般般，所以用一组函数去分段来拟合

sigmoid函数是神来之笔，可以用激活函数去理解

为了更好地理解神经网络中的权重连接关系这一概念，在讲解时我们可以采用线性代数的方法来进行阐述。考虑到i与j之间的关系是否就是涉及到权重连接？

sigmoid是函数，而wij就是每个函数里面的参数

先生成一个曲线，然后再把弹性的曲线相加

这里把所有的不管是什么的参量全部抽象、泛化成一个θ向量，

然后用梯度的方法来不断接近，靠update来修正

用到了哈密顿算子，g就直接是对每个参数求偏导

η属于学习率的一种参数，并且可以通过不同的方法进行设定。在梯度下降算法中，在每次迭代时更新θ₀的方式为：θ₀ = θ₀ - η × ∇J(θ₀)，其中∇J(θ₀)表示目标函数在当前点处的梯度值。当梯度较小时，则更新幅度也会较小

然后我们分割数据集，引入两个名词，epoch和batch

在机器学习中，“epoch”（周期）表示训练数据集通过模型进行一次完整的遍历过程。换句话说，“1个epoch”意味着所有的训练样本都会被用来更新模型参数的过程。

batch size=example/epoch

Batch size essentially refers to the number of samples processed in each training batch. It is often beneficial to divide them into manageable groups or batches for efficient processing. The optimal approach is to ensure a uniform distribution to minimize bias across all batches.

另一种激活函数，ReLU。两者被统称为activation function(还有其他的）

sigmoid是一个非线性函数，

Sigmoid 实际上不是一个线性的函数；它是一个 non-linear 的函数行为模式

该函数的数学形式为：
该函数亦称 logistic function 其其数学表达式形式为 S(x) = 1/(1+e^{-x}).

这个函数的整体外观呈现出一个S型曲线的特点，在数学上其输出值严格限定在区间[0,1]之内。该函数的主要特性包括：

- 当 x \to \infty 时， \sigma(x) \to 1
- 当 x \to -\infty 时， \sigma(x) \to 0
- 在 x = 0 时， \sigma(x) = 0.5

Sigmoid 函数的非线性特性：

曲线形状：

Sigmoid函数的输出结果呈现为一条gentle S-shaped curve. 此外，在输入数值趋向于极大或极小时, 输出值将趋近于极限值(0或1). 当输入数值接近零时, 输出的变化速率最快.

一般我们会选择ReLU

这里选择function不断的进行更新之后，多做几次多做几次

每一层中可以有很多个的ReLU

最后我们就给他赋予一个名字——神经网络

每一个激活函数就是神经元

假设你有一个简单的神经网络，包括一个输入层和一个隐藏层：

输入：

x_1, x_2 （可能是原始数据或前一层的输出）

权重：

w_1, w_2

偏置：

b

激活函数：

假设我们使用 ReLU 激活函数。

那么每个隐藏层神经元的计算过程是：

1. 加权求和：

2. 激活函数：

在这里，ReLU 就是激活函数，它决定了神经元的输出。

---

总结：

• 神经元作为神经网络的基本单元，在信息处理过程中扮演核心角色。它们通过接收输入信号、执行运算并传递处理后的输出来完成信息传递。
• 激活函数作为神经元的重要组成部分，在其计算环节中引入非线性变换功能。这种变换使neural network具备学习和表达复杂模式的能力。

layer就是neuron