Efficientnet: Rethinking model scaling for convolutional neural networks（论文笔记）
Efficientnet : Rethinking model scaling for convolutional neural networks（论文笔记）
（第一次做笔记，有些细节后期慢慢补充）
EffificientNet是由谷歌公司推出的最新神经网络模型。本文主要针对现有的先进模型进行了模型缩放方面的深入研究，并在此基础上开发出了EffificientNet。通过一系列实验验证，在ImageNet数据集上采用EfficientNet-B7架构的模型取得了优异成绩：在top-1准确率上达到88.4%，top-5准确率更是高达97.1%。与当前性能最优的ConvNet架构（如GPipe）相比，在计算效率方面提升了约6.1倍，在参数规模缩减方面则实现了8.4倍的优化。
在当前神经网络研究领域中, 作者认为为了提高准确性, 常常会采用扩大convnet的方法进行研究工作
在进行了一系列的缩放维度与复合缩放试验（这些具体的实验过程及内容相对简单）的过程中,作者得出了两个论点
- 通过放大网络宽度、深度或分辨率中的任何一个维度均能显著提升分类精度；但随着模型规模进一步增大后段网络效率提升的空间逐渐缩减。
- 在缩放下优化ConvNet性能时需平衡其在各维度上的扩展程度
为了减少繁琐的手动微调过程而提出了一种新的统一缩放策略
公式如下：
该作者依次在移动网（MobileNet）和残差网络（ResNet）上测试了自身的模型，并随后转向更高效的网络架构——EfficientNets。实验结果表明该方法具有较高的有效性，在采用复合缩放方案后，在对比于仅采用单一缩放策略的情况下，模型的准确率显著提升。
而改进后的EfficientNet在性能上得到了显著提升，在ImageNet标准化数据集上的测试显示该方法取得了令人瞩目的效果；研究者借鉴了MnasNet的设计理念，在相同的实验条件下进行了系统评估；值得注意的是，在保证分类精度的前提下，该模型所采用的参数规模与运算强度均低于同类基准网络的一倍
本文提出了一种简洁而更为高效的复合缩放方案，在将基准ConvNet按比例扩增至任意资源受限的目标环境时能够较为系统地实现这一目标，并能有效维持模型性能水平。相较于现有研究而言，本方法带来了显著提升，在与同类精度相当的其他ConvNet架构相比时（即，在达到相近准确度的前提下），所需参数量与运算强度均显著低于现有方法（令人印象深刻）。