图像特征学习与分类方法研究
基于深度学习的图像特征学习和分类方法的研究及应用
- 华南理工 冯子勇
研究现状：
1. 单层特征编码
2. 深度学习
- 深度玻尔兹曼机
- 卷积神经网络
Ioffe and Szegedy introduced the Block Normalization (Batch Normalization, BN) technique. This normalization method is applied to samples across different dimensions before the activation function. They demonstrated theoretically and practically that such operations accelerate the convergence of neural networks, and importantly, this approach can still prevent overfitting without dropout regularization. In the 2015 ImageNet Large-Scale Visual Recognition Challenge (ILSVRC) competition, He et al. proposed a method called deep residual training that enables the training of very deep networks. Their approach involves constructing module structures as shown in Figure 1-3. They showed that in backpropagation during gradient computation, gradients can flow without loss through residual branches, effectively preventing gradient弥散 issues and allowing for deeper network architectures.
特征学习与分类方法简介
1.引言
- 人工设计的这些特征包括梯度方向直方图、局部二进制模式、Gabor 特征以及尺度不变性变换等技术手段。
- 梯度方向直方图主要在物体检测和人行检测领域得到广泛应用；局部二进制模式通常用于光照复杂环境下的人脸识别任务；Gabor 特征是一个广泛认可的纹理描述工具，并且具有与人眼视觉机制相似性；尺度不变性变换方法展现出良好的分类性能；而八方向特征则特别适用于处理联机输入下的汉字识别问题。
- 从理论上讲，在机器学习中，特征学习指的是建立一个将原始数据空间映射到新表示空间的过程，并非仅限于深度学习方法的应用范畴。
2. 单层特征学习方法研究
2.1. 受限玻尔兹曼机
- 对于人工神经网络的研究，总的来说有两个主线：一个是以仿生为基础的，另一个是以概率图模型为基础的
* 受限玻尔兹曼机模型 *
2.2. 自动编码机
- 通过找到一个参数向量\Theta来最小化重构误差
2.3. 稀疏编码
在本研究中，在线学习算法设计中使用了以下关键组件：首先，在算法的核心构建中引入了b_k作为基向量；其次，在模型优化过程中设计了两个关键组成部分：第一部分采用最小二乘法实现数据拟合目标；第二部分作为惩罚项用于控制模型复杂度；为了确保模型的有效性以及避免过拟合现象的发生目标是以防止相关系数趋近于零为目标；从而形成了经典的LASSO问题模型
2.4. 子空间学习
考虑位于高维空间的数据集，在应用降维算法时旨在提取其低维度的核心特征表示；就线性降维而言，则需要确定存在一个投影矩阵U满足Y=U^TX；而对于非线性降_dim_方法而言,显式解的存在较为困难
3. 多层特征学习方法研究
3.1 深度置信网络
3.2 层叠自动编码机
3.3 深度卷积网络
基于最小分类误差准则的深度学习训练方法
几种常见的损失函数
- 最小二乘误差
- Softmax loss与交叉熵损失
- 分类误差
- Hinge loss（间距损失）