NNDL第五章笔记CNN

阅读量：

文章目录

卷积神经网络
- 卷积
- - 一维卷积
  - 二维卷积
  - 互相关
  - 卷积的变种
  - 卷积的数学性质
  - - 交换性
- 导数（难点）
- 5.2卷积神经网络
- - 使用卷积来代替全连接
  - 卷积层
  - 汇聚层
  - 卷积网络的整体结构
- 参数学习
- - 卷积神经网络的方向传播算法：
- 几种典型的卷积神经网络
- - LeNet-5
  - ALexNet
  - inception，残差网络，略
- 其他卷积方式
- - 转置卷积

卷积神经网络

卷积神经网络 ：是一种具有局部连接，权重共享等特性的深度前馈神经网络。
在用全连接前馈网络来处理图像时，会有以下两个问题：

参数过多，容易出现过拟合现象。
局部不变性特征：全连接前馈网络很难提取这些局部不变性，一般需要进行数据增强来提高性能。

目前的卷积神经网络一般是由卷积层，汇聚层和全连接层交叉堆叠而成的前馈神经网络，卷积神经网络有三个结构上的特性：局部连接、权重共享以及汇聚。

卷积

卷积 ：是分析数学中一种重要的运算．在信号处理或图像处理中，经常使用一维或二维卷积。

一维卷积

在这里插入图片描述
我们可以设计不同的滤波器来提取信号序列的不同特征：
1，当我们令滤波器𝒘 = [1/𝐾,⋯, 1/𝐾]时，卷积相当于信号序列的简单移动平均（窗口大小为K）
2，当令滤波器𝒘 = [1, −2, 1]时，可以近似实现对信号序列的二阶微分，𝑥″(𝑡) = 𝑥(𝑡 + 1) + 𝑥(𝑡 − 1) − 2𝑥(𝑡)
在这里插入图片描述
滤波器𝒘 = [1/3, 1/3, 1/3]可以检测信号序列中的低频信息，而滤波器𝒘 = [1, −2, 1]可以检测信号序列中的高频信息。

二维卷积

给定一个图像𝑿 ∈ ℝ𝑀×𝑁 和一个滤波器 𝑾 ∈ ℝ𝑈×𝑉，一般 𝑈 << 𝑀, 𝑉 << 𝑁，其卷积为:
$y_{i,j}=\sum_{u=1}^U\sum_{v=1}^Vw_{uv}x_{{i-u+1},{j-v+1}}$
在这里插入图片描述
在图像处理中常用均值滤波，当前位置像素设为滤波器窗口所有像素的平均值。

互相关

在这里插入图片描述
互相关和卷积的区别仅仅在于是否进行翻转，互相关也可以称为不翻转卷积。
$Y=W\bigotimes X=rot180(W)*X$

卷积的变种

引入卷积核的滑动步长和零填充来增加卷积的多样性。
步长（Stride）是指卷积核在滑动时的时间间隔。
零填充（Zero Padding）是在输入向量两端进行补零。
在这里插入图片描述
假设卷积层的输入神经元个数为M，卷积大小为K，步长为S，在输入两端各填补P个0，那么该层神经元数量为(𝑀 − 𝐾 + 2𝑃)/𝑆 + 1。

窄卷积：步长𝑆 = 1，两端不补零𝑃 = 0，卷积后输出长度为𝑀 − 𝐾 + 1。
宽卷积：步长𝑆 = 1，两端补零𝑃 = 𝐾 − 1，卷积后输出长度𝑀 + 𝐾 − 1。
等宽卷积：步长𝑆 = 1，两端补零𝑃 =(𝐾 − 1)/2，卷积后输出长度𝑀。

卷积的数学性质

交换性

$x\ast y=y\ast x$
在宽卷积的情况下： $\bar X\in R^{(M+2U-2)\times(N+2V-2)}$
在这里插入图片描述

导数（难点）

在这里插入图片描述

所以可得：

其中当(𝑠 − 𝑖 + 1) < 1，或(𝑠 − 𝑖 + 1) > 𝑈，或(𝑡 − 𝑗 + 1) < 1，或(𝑡 − 𝑗 + 1) > 𝑉 时，𝑤𝑠−𝑖+1,𝑡−𝑗+1 = 0．即相当于对𝑾进行了𝑃 = (𝑀 − 𝑈, 𝑁 − 𝑉)的零填充。
可以看出，发f(Y)关于X偏导数为W和 $\frac{\partial f(Y)}{\partial Yvc}$ 的宽卷积，公式中的卷积不是互相关的，为了一致性，我们使用互相关的”卷积“：
在这里插入图片描述

5.2卷积神经网络

使用卷积来代替全连接

如果采用卷积来代替全连接：
在这里插入图片描述
卷积层有两个很重要的性质：局部连接，权重共享同层权重相同，（提取不同的特征需要使用不同的卷积核）

卷积层

卷积层（特征提取器）作用：提取一个局部的特征，不同的卷积核相当于不同的特
征提取器，上一节描述的卷积层的神经元和全连接网络都是一维结构，为了处理图像方便：可以讲神经元设为三维，D个 $M\times N$ 大小的特征映射构成。
特征映射：为一幅图在经过卷积提取到的特征，每一层可以使用多个不同的特征映射。
假设一个卷积层的结构如下：
在这里插入图片描述

其中 $W^P\in R^{U\times V \times D}$ 为三维卷积核，f(.)为非线性激活函数，ReLU。

汇聚层

汇聚层 （子采样层）：进行特征选择，降低特征数量，从而减小参数数量。
卷积层直接加分类器，分类器的维数高容易出现过拟合，为了解决过拟合可以在卷积层之后加一个汇聚层。常用的汇聚函数有两种：
最大汇聚：对于一个区域所以神经元，选择最大值。
平均汇聚：取区域内所有神经元的平均值。
目前主流的卷积网络中，汇聚层包含了下采样操作，有时汇聚层还使用非线性激活函数：
在这里插入图片描述

卷积网络的整体结构

参数学习

在卷积网络中，参数为卷积核中的权重及偏置，也可以通过误差反向传播算法来进行参数学习。
在全连接前馈神经网络中，梯度主要通过每一层的误差项𝛿进行反向传播，并进一步计算每层参数的梯度．第l层的第p(1<=p<=p)个特征映射净输入：
在这里插入图片描述
推导过程中使用

式子中的损失函数相当于 f(Y)，其中。

同理可得，损失函数关于第l层的第p个偏置 $b^{(l,p)}$ 的偏导数为：