人工智能-深度学习
前反馈
从前往后传递，加权求和
3种损失函数：1.均方误差损失函数、2平均绝对损失函数3、交叉熵损失函数
4种激活函数（非线性函数）：sigmoid tanh Relu softmax
参数优化
误差反向传播
将输出层误差反向传播为隐藏层进行参数更新的方法，使得将误差分摊为各层所有单元，从而获得各层单元所产生的误差，再通过梯度下降对参数进行更新
梯度下降算法
损失函数梯度的反方向是损失误差下降最快的方向
沿着损失函数梯度的反方向取更新参数
新的权重=权重-学习率*损失函数求导值
这里的-就是反方向
将神经网络中的参数进行更新
CNN
卷积操作
不同的卷积核可被用来刻画视觉神经细胞对外界信息感受时的不同选择性
感受野：结果矩阵的每一个像素点对应原始输入图像的每一个对应区域
填充padding
目的： 为了使边缘位置的图像像素点也参与卷积滤波，Padding技术被提出，使得卷积后的图像分辨率和卷积前图像分辨率一致
做法： 再边缘像素点周围填充0，使得可以以边缘像素点为中心而形成与卷积核同样大小的图像子块区域 不存在下采样
步长stride
目的：卷积后的图像分辨率与卷积前的图像减小、即约减
做法：让卷积核在卷积图像移动步长大小跳过一些像素，即为卷积滤波，默认为1
例子：如果步长为2，则图像结果为2*2：
卷积输出维度
池化
对于一块区域子块的统计信息来代替区域所有像素点取值，实现了下采样，同时保留了特征图中主要信息。
最大池化：最大值
平均池化: 平均值
K最大池化：取前K割最大值，常用于自然语言处理的文本特征提取
神经网络正则化
缓解过拟合、泛化能力差的解决办法：
参数范数正则化惩罚、稀疏化、集成、Dropout、提前终止、数据扩增
L1正则化项
L1正则化后，权重w值会更接近0，即神经网络中的权重接近于0，从而减少过拟合情况
L2正则化项
通过L2正则化后，权重w值变小，网络复杂度降低，拟合曲线更平滑 ，拟合效果更好
正则化是加入Loss中的
Dropout
指在训练神经网络过程中随机丢掉一部分神经元来减少神经网络复杂度，从而防止过拟合
在反向传播权重时，不更新与该神经元（被舍弃的）相关的权重（暂时不更新）
另一批样本输入时继续使用该神经元相关的权重以及更新了的神经元的权重
批归一化
将输入值的分布标准化，变为均值0，方差1的标准正态分布，在激活函数的映射下到梯度较大的区域，使得梯度变大，克服梯度消失的问题，进而提高收敛速度