Inception-V3论文笔记

The notes from《Rethinking the Inception Architecture for Computer Vision》 are a concise compilation of essential points. The paper still contains unread sections; these will be addressed subsequently.

设计网络原则

1.应尽量避免出现表征瓶颈的情况。通常情况下，
特征尺寸应当逐步减小，
同时提升维度。（下采样会导致信息量减少，
而升维能够补充额外的信息）
以防止降维过程中可能导致的信息丢失过多。

2.高维特征更容易局部处理，收敛更快。（高维易分）[这里不太明白]

3.空间聚合能通过低维嵌入达到无损。（concat前可以降维，性能损失接近无）

4.平衡宽度和深度。（宽度和深度的比例要合适）

分解卷积

小卷积堆叠

2个3* 3代替1个5*5 减少28%的计算量

有一个问题:

第一个3*3后接线性激活会不会比ReLU更好？

实验数据显示ReLU表现更为卓越.（研究者推测其优势源于其对空间变化的捕捉能力,并通过实验验证了这种提升确实是由于数据增强策略的应用）

非对称分解

3* 3卷积分解2个2* 2节省11%计算量，而分解成1* 3和3*1节省33%

从理论上讲，任何卷积都可以被分解为不对称卷积的形式；然而实验证明，在较低层次时效果不佳；当增加到12至20层时表现更好

辅助分类器

inceptionV1引入了辅助分类器分支，并认为该辅助分类器能够有效缓解梯度消失现象；同时指出该方法有助于快速利用低阶梯度信息。

但是这里说不能改进收敛,只是相当于正则化作用

有效网格尺寸减少

池化层用于减少feature map的尺寸,为了防止出现representational bottleneck（即准则1）,在应用池化层之前通常会增加feature map的数量。

上图左边违反了准则1,右边会增加计算量.

所以我们可以使用两个平行步长为2的块,P和C.如下图

Inception-V2

通过标签平滑进行模型正则化

该机制如何通过对分类器层施加正则化措施来评估训练期间标签被丢弃所带来的边缘化影响？

[这里看的不是很明白]

低分辩率输入上的性能

分类任务上,对象比较小,分辨率低的话,如何正确处理?

Review

待更新

参考笔记

https://www.jianshu.com/p/fccf6b799b42
https://www.cnblogs.com/xiaoboge/p/10457307.html

论文及翻译

该文章深入分析了...
该文章详细探讨了...
该论文系统阐述了...