论文笔记：Multi-Scale Dense Networks for Resource Efficient Image Classification

Multi-Scale Dense Networks for Resource Efficient Image Classification

[ICLR2018 oral]
原文链接：传送门

目录

• Multi-Scale Dense Networks for Resource Efficient Image Classification
  • 目录
  • 问题
  • 解决方法
  • 个人理解
  • 主要贡献

问题

• 在近几年的视觉物体识别任务上，有的物体很容易就可识别出来，而有的被遮挡的物体或者由于拍摄角度诡异，而很难识别的物体，在test的时候回消耗同样的计算资源。这对于大型的数据集来说，会产生会多不必要的计算资源浪费。

• 在一般的卷积神经网络中，倒数第二层的特征将直接输入到最后一层进行分类，其他层的特征将被忽视。

• 不同的卷积神经网络的层包含不同级别的scale信息。我们应该充分利用低维和高维特征。

解决方法

• 把每层的layer都连接到classification层

• 创建一个multi-scale的网络框架，让每层都包含不同的scale信息。

本文所创建的网络叫做Multi-Scale DenseNet (MSDNet)。
网络模型框架，自行参考原文figure 2.

个人理解

• 分类器的分类准确率与它使用第几层产生的feature来训练分类器有关。
• multi-scale feature maps来解决这个问题。 水平方向的connection能够逐步获取high-resolution的feature。垂直方向的connection可以获取更加coarse 的feature，通过不同的scale。
• 网络中间的分类器会影响最后面的分类器的分类准确率。
• 解决方案：dense connectivity。 DenseNet不存在这个问题。
• DenseNet只进行了水平方向的directly connection，MSDNet同时进行了垂直和对角线方向的dense connection。
• 最后作者提出了网络的简化模型

主要贡献

• 提出了一种中途停止预测分类，而不必消耗额外计算资源的方法。
• 提出了如何判断exit阈值的方法。
• 解释了denseNet 的优越性，以及high-resolution和coarse feature结合的优越性。
• 解决了中间分类器输出对最终分类器结果的消极影响。

其实，主要贡献就是，一种网络框架的产生，并分析对比了与其他state-of-art network的优缺点对比。

转载请注明出处：<>

---

Emma
CUHK
2018.02.26