inception 论文阅读笔记
inception V1
提出inception unit，采用多个size的卷积核对输入进行卷积。
采用1x1 3x3 5x5的卷积核不是必须的，而是为了方便
可以理解为不同大小的卷积核可以提取到图像中不同大小的特征
带来的问题：需要训练的参数太多 -------------解决方法：在使用3x3 5x5的卷积核之前使用一次1x1的卷积核进行降维，1x1的卷积核可以实现通道间的连接和信息互通。
疑问：
决定3x3、5x5的卷积输出维度的依据是什么？
Batch Normalization
- 应用了批次归一化技术Batch Normalization，在允许使用更大的学习率的同时减少了初始化关注的参数数量。
- 论文中指出，在当前最先进的图像分类模型中应用批次归一化技术可将训练次数降低约92%，但仍然能够达到与之前相同的效果。
- 为了缓解梯度下降过程中输入层分布的变化问题（internal covariate shift），文章通过固定各层输入的分布来加快了网络的收敛速度。
- 我们提出了一种算法用于构建、训练以及推理基于批次归一化的网络结构。该算法允许使用饱和激活函数以提高效率，并使模型对较高的训练速率更具鲁棒性；此外，在正则化方面也无需依赖Dropout技术即可实现良好的性能表现。
inception V3
- 该文章探讨如何提高模型规模的同时尽量减少计算开销。In this paper, we start with describing a few general principles and optimization ideas that proved to be useful for scaling up convolution networks in efficient ways.
提出了一些具体的优化方法。
5x5卷积核可以通过两个3x3卷积核取代，并同时减少了可学习参数的数量。（18:25）
同样地，在理论上而言, 我们可以选择更小尺寸的卷积核来替代传统的3\times 3卷积核, 并采用非对称结构（如3\times 1与1\times 3）以提高模型性能。
网络结构中应用了辅助分类器（Auxiliary Classifiers）。研究表明，在测试过程中发现该结构在深层网络中表现出色（性能优越），而在浅层网络中其存在与否对测试结果无显著影响。We argue that the auxiliary classifiers function as regularizers。
6.
然而，在我们的实验中发现，在轻连接的卷积核上表现不佳（Heavily connected convolutions perform poorly in early layers），但在较深连接的卷积核上表现优异（In our experiments, we found that employing this factorization does not work well on early layers, but it gives very good results on medium grid sizes (ranging from 12x12 to 20x20), achieving excellent performance through a cascade of 1×7 convolutions followed by a series of 7×1 convolutions.）
Inception v4
- 实验数据显示通过整合残差结构至Inception网络体系中能够显著提升其训练效率。
- 在计算成本相近时残差Inception架构展现出略微优于传统Inception架构的优势。
- 该研究提出了一种改进型的Inceptio架构命名为V4版本并将其与原始Inceptio架构进行了融合以进一步提升性能。