cv方向论文跟读笔记《Deep Learning》（1）

《Deep Learning》From 《Nature》

author:Yann lecun, Yoshua bengio, Geoffery Hinton

第一课时：
背景、监督学习、反向传播

1.论文作者简介

2018年的图灵奖得主包括以下三人：Google高级副总裁GH贡献了反向传播算法论文；Facebook高级副总裁YL不仅开创性地开发了卷积神经网络模型，并且首次将这一技术应用于手写数字识别领域。此外,YB也是一位在该领域具有重要地位的人物。

2.前期知识储备

线性代数、概率论、数值计算、机器学习基础（李航《统计学习方法》）
Q1. 一条长为1米的绳子，在任意两处切断后分成三段，请问这三段能够构成一个三角形的概率是多少？
Q2. Bias是什么？Variance又是什么？
面对过拟合与模型欠拟合的问题该如何应对？

3.课程安排和学习建议

路线规划及参考资料

A.记录笔记
B.提问
C.完成作业

学习建议

深入阅读经典的机器视觉算法研究中提到的RCN、YOLO和SSD等目标检测算法

4.深度学习背景介绍

**机器学习应用方向：**图像识别；语音转换；推荐系统
机器学习现实中的应用
**传统方法：**构建模式识别或机器学习系统时通常需要领域专家参与设计特征提取模块。
**表示学习：**涉及一系列方法，它们使机器能够接收原始数据并自动转换为更适合目标任务（如分类或监测）的形式。
**深度学习方法：**基于多层次非线性变换的深度表示学习方法，在每一层中简单的非线性模块被串联组合使用以提升整体表现。
**深度学习的关键：**特征层不是由专家工程师预先设计的结构体而是通过算法从数据中自动提取和优化得到的表达形式。
经过多层非线性变换的数据流在全连接网络中通过正向传播计算输出预测值而在反向传播过程中逐步优化模型参数以最小化预测误差。
深度 learning的应用领域

5.监督学习（Supervised Learning）

训练步骤：
1.收集n个类别的图片，并对每张图片进行标注图片类别；
2.通过输入图片的处理输出一个分数向量，在该向量中每个类别均获得对应分数；
3.旨在使目标类别的分数高于所有其他类别；
4.构建目标函数用于衡量网络预测结果与预期结果之间的差异程度；
5.进而通过更新模型中的关键参数（权重系数）来减少预测误差；
**最优化手段：**采用随机梯度下降方法进行参数优化

6.反向传播

**反向传播：**计算目标函数J对多层神经网络权重的梯度。
利用微积分中的链式法则完成反向梯度计算。
Q3.写出反向传播的推导公式
链式法则：
激活函数：
ReLu：目前最常用，f(z) = max(z, 0)
Sigmoid：1/(1 + exp(-z))
Tanh：tanh(z)
Leaky ReLU;Maxout;ELU
梯度下降法：陷入局部最优解。