Feed Forward and Backward Run in Deep Convolution Neural Network 论文阅读笔记

基于深度学习框架的卷积神经网络核心原理详述

---

Abstract

对卷积网络的数学本质和过程仍然不是太清楚，这也就是本论文的目的。

• 我们采用灰度图来表示图像信息，
  • ReLU和Sigmoid激活函数通过卷积网络实现其非线性特性，
  • 交叉熵损失函数用来衡量预测值与真实值之间的差距。

---

1 Introduction

---

2 Architecture

2.1 卷积层

reference

• [CNN学习笔记]<>

• 卷积层由多个并行的特征图（feature map）组成，并通过滑动不同的卷积核并执行特定计算而形成。
  • 每个位置上的元素都由同一个卷积核计算得出，并且一张特征图共享了相同的权重参数和偏置项。

2.2 激活函数

• 激活函数定义了给定一组输入后神经元的输出。

2.3 池化层

reference
深度学习笔记5：池化层的实现

• 池化层被定义为采样层级，在其上将多个前层神经元的输出与单个下层神经元进行融合。
  • 池化层不仅能够有效地降低网络中的参数数量，还能有效地防止模型过拟合。

2.4 全连接层

2.5 损失函数

该损失函数被用来评估模型的表现，并且通过衡量实际值 y_i 和预测值 \hat{y} 之间的差异性来反映两者之间的不一致程度。

2.5.1 均方误差

Mean Squared Error（MSE）的一个主要缺点在于，在与Sigmoid激活函数协同工作时，可能导致学习效率显著下降。

2.5.2 Mean Squared Logarithmic Error

2.5.3 L2 Loss function

2.5.4 L1 Loss function

2.5.5 Mean Absolute Error

2.5.6 Mean Absolute Percentage Error

• 缺点： 对于类标为0的点不能用。

2.5.7 交叉熵

• 最为广泛采用的损失函数指标为交叉熵损失函数。
  • 交叉熵代价函数(损失函数)及其求导推导

---

3 卷积网络的学习

3.1 前馈推断过程

卷积网络的前馈传播过程可以用数学方式表示为输入值与随机初始化权重的乘积。接着每个神经元都会并加上一个初始偏置项。随后将所有神经元乘积之和传递到激活函数中。该激活函数会对输入值执行非线性转换，并输出相应的激活输出。

I 为图像， K为卷积核。

3.2 反馈过程

reference
神经网络之梯度下降与反向传播（上）
神经网络之梯度下降与反向传播（下）

一下推导都是0-1预测

• 在反馈过程中，在计算损失函数梯度时：先计算最后一层的梯度，在随后再进行第一层梯度的具体运算。
  • 当使用链式法则时，在一个层的偏导数被求解后会遇到另一个层的问题：通过重用这些中间结果可以在每个层级更有效地完成梯度运算。
  • 随着Loss值逐步减小，在模型训练过程中其表现得到了显著提升。

在反馈的过程中，我们需要更新 W, b，K这些参数。

对最后一层偏导数，也就是输出求导

对 W 求导

---

4 Conclusion

• 我们阐述了CNN的结构及其涉及的多种激活函数与损失函数。
• 在介绍CNN的过程中详细阐述了前馈与反馈过程的具体步骤。
• 在设计网络架构时为了便于处理数学公式，在输入图像中使用灰度图、将卷积核步长设置为1，并进行零填充；在中间层引入非线性形式，在输出层采用了ReLU与sigmoid激活函数。
• 在模型训练过程中我们采用交叉熵损失作为模型评估指标。
• 在训练过程中我们选择了合适的优化方法并防止过拟合以最小化损失
• 我们试图从数学角度解析卷积神经网络的工作原理