四、经典网络5（Network in Network）

模型结构

模型创新点

论文的创新点：

（1）提出了抽象能力更高的 Mlpconv 层

（2）提出了 Global Average Pooling （全局平均池化）层

**Mlpconv 层 **

传统的卷积神经网络通常是通过一系列关键组件如线性卷积层、池化层以及全连接层来进行构建的。这些组件中包括利用线性滤波器执行线性卷积运算，并经过非线性激活函数处理后生成特征图。其中一种类型的卷积滤波器属于广义线性模型（GLM）这一范畴。然而广义线性模型在抽象能力方面相对较为有限。

抽象：指得到对同一概念的不同变体保持不变的特征。

当我们使用 CNN 进行特征提取时，实际上隐含地假设了这些特征是线性可分的。然而，在实际情况中，这种情况往往难以实现线性可分。通常需要提取的高度非线性特征可以通过传统 CNN 来捕获。或许我们可以采用超完备滤波器集合以提高模型能力，并结合大量滤波器以增强表现力。例如，在需要提取特定特征时（如边缘、纹理等），我们可以通过大量滤波器的应用将所有可能的形式纳入考虑范围。这不仅能够覆盖所需的所有形式（如边缘、纹理等），而且这种做法还带来了一个缺点：参数量急剧增加。

我们认识到高层特征实际上是低层特征通过某种运算组合而成。基于这一思路，在局部感受野内引入更为复杂的运算以改进卷积层性能的方法被称为MLP卷积。这一设想值得商榷吗？然而在后续研究中并未采用该方法而是延续了传统CNN架构的做法。其中激活函数采用了整流线性单元（即ReLU函数定义为max(wx+b, 0)）。

**MLP 的优点： **

（１） 非常有效的通用函数近似器

（２） 可用 BP 算法训练，可以完美地融合进 CNN

（３） 其本身也是一种深度模型，可以特征再利用

全局平均池化层

从另一个角度来看，在传统的 CNN 架构中，最后一层通常由全连接层构成。然而由于参数数量庞大且可能导致模型过拟合（例如 Alexnet 就是一个典型实例），在这样的架构下，全连接层占据了模型参数的绝大部分比重。为此研究者建议采用了一种更为高效的替代方案——全局均值池化结构。相较于传统的全连接层架构，在这种设计下每个特征图都能独立地生成一个表征。此外该方法还具有显著优势在于其不仅能够有效减少网络的整体参数量（从而显著减少了网络的整体参数量），而且还能通过这一特性提取出更具代表性的特征信息（即每张特征图相当于一个独立的表征空间）。这种设计使得模型在保持原有功能的同时大幅降低了过拟合的风险并提升了整体性能表现）。

全局平均池化的优势：

（１） 通过加强特征图与类别的一致性，让卷积结构更简单

（２）不需要进行参数优化，所以这一层可以避免过拟合

（３）它对空间信息进行了求和，因而对输入的空间变换更具有稳定性

在应用了微神经网络之后，在提升局部模型的抽象能力的同时，在确保特征图与类别之间的一致性方面使得全球均值池化的性能得到了显著提升。相较于传统的全连接层，在使用全球均值池化时不易出现过拟合现象（这是因为全球均值池化本身具有的结构性规则特性）。PS: 经典 CNN 容易过拟合，并严重依赖于使用 dropout 进行规则化。