Inception-v3:"Rethinking the Inception Architecture for Computer Vision"

Googlenet的扩展是通过分解Inception模块来构建网络结构。在ILSVRC 2012比赛中融合四个模型并经过多次剪切操作后取得优异成绩

GoogleNet的优势： 从参数规模的角度来看，在 Alex Net 参数量基础上增加了 12 倍的数据量（达到 5 百万），而 VGG Net 又在此基础上进一步提升了三倍（总计约 1.5 十万）。因而，在内存或计算资源受限的情况下，在分类任务中相对而言，在这种情况下, Google Net 是一个较好的选择.

Inception结构的设计改进： 基本的设计方案可能导致增益下降明显。例如重复应用双层滤波器的数量会使计算量与参数数量均增长约4倍。因此作者提出了几条设计优化的原则建议

网络设计准则
1.防止形成表示瓶颈，并使特征图尺寸逐步减小；
2.通过网络实现高维表示；
3.能够将空间关系整合到低维空间中；
4.在保证性能的同时实现宽度与深度的平衡

大尺寸滤波器卷积分解
GoogleNet通过降维操作实现了显著精度提升。基于高激活相关性这一前提，在集成操作前对网络进行降维处理是合理的做法。Inception模块采用了全卷积设计，在这里每个权重参数对应一个乘法操作，在经过卷积分解后能够有效减少计算量并加速模型训练速度，并通过适当增加滤波器数量来进一步提高模型性能

大尺寸卷积分解为小尺寸卷积。一个5×5大小的卷积核可以通过两个连续的3×3卷积来替代。如图4所示的是原始Inception模块结构,而图5展示了替换后的模块设计,通过这种方式我们能够节省下来的计算时间可用于增加滤波器的数量。

采用非对称卷积进行分解的卷积运算中，在早期层中效果不明显（如图所示），但在中间层（特征图大小为12~20）时表现出良好的效果。具体来说，在中间层中通过3\times 1卷积和1\times 3卷积的组合能够有效提升性能表现

附加分类器 采用带有batch norm层的方式表现出更好的效果，并因此确认其在规范化过程中扮演着重要角色。

减少特征图的空间分辨率
池化操作有助于减少特征图的空间分辨率。为了防止表示瓶颈问题并更好地保留图像细节，在应用池化层之前先提升卷积滤波器的数量（如上图所示）。

作者的解决方法是同时进行步长为2的卷积和池化，然后串联，如下图所示：

Inception-v2
Inception-v2的网络架构如图所示，在处理7\times 7尺寸的空间数据时会将其划分为三个独立的卷积层。

采用标记平滑技术实现模型规则化

标记k的分布将通过以下步骤获得：首先令k等于y；随后采用某样本替换其在该表达式中的位置；实验中u(k)=\frac{1}{K}

针对低分辨率图像的情况而言，在训练神经网络模型时，请考虑减少前两层的空间采样率；同时，在设计卷积神经网络结构时，请考虑省略第一级池化层。

实验结果
实验结果与GoogleNet相比有较大提升，如下表所示：