论文阅读-《Densely Connected Convolutional Networks》
CVPR 2017 Best Paper
Motivation:
最近的研究表明，在神经网络架构中引入短连接有助于提升深度、提高预测精度以及优化计算效率。
此外，最近一些ResNet变体能够通过较浅层模型实现与较深模型相当的效果，
这表明当前卷积神经网络所学习到的大量特征存在重复性较高
该作者的方法主要依赖于对skip connection的充分利用，并构建了一个密集卷积神经网络模型。使得每一层都能够继承并使用前面各层的所有输出特征。对于普通的人工神经网络模型来说，在L层结构中共存在L条直接连接；而在密集卷积神经网络架构中，则会增加至L(L-1)/2条连接数量。
DenseNet的主要优势在于通过长距离连接有效地缓解了梯度消失问题。该结构允许网络在训练过程中对所有卷积层进行监督学习，并通过跳跃连接使深层特征能够直接影响到浅层表示；这种设计使得网络能够更高效地进行特征提取和表示学习；
另一方面，在DenseNet中能够重复利用中间特征并提升其质量的同时还能大幅降低网络总参数数目
Framework
上图表示作者设计的DenseNet.
其中输入图像首先经过卷积操作，然后输入连续的几个dense block；
对于每一个block内部的设计，在处理卷积层时均采用密集连接方式处理。具体而言，在每个block内部设计时会整合前面所有unit的输出特征作为当前unit的操作输入基础。图中每个单元执行的操作序列包括BN-ReLU followed by 1x1 Convolution和随后的3x3 Convolution操作序列组合。通过引入1x1卷积操作有助于降低整个网络的计算复杂度，在同一个block内部设计时，每个单元输出特征图（Feature Map）的空间通道数被设定为4倍的增长率（growth rate）。在同一个block内部设计时，在保持通道数目恒定的情况下（固定为4k），随着增长速率k的变化会直接影响到模型参数总量以及模型的学习能力表现。
在不同block之间设置的是transition layer，在每个transition layer中都包含BN层、 followed by 1×1卷积层和池化层结构；值得注意的是，在这种情况下可以通过调整输出通道数来决定是否需要压缩模型参数
我们定义上面的模型为DenseNet-BC(B:block C:compression)
这张图表展示了作者基于Imagenet构建DenseNet网络的过程。其中字母k用于标识该网络的整体深度结构。
Experiments
作者主要在cifar10,cifar100,SVHN以及imagenet分类问题上做的实验。
实验结果展示图中展示了各数据集上的表现情况。其中C10+标识采用了数据增强技术处理后的CIFAR-10数据集。作者提出的方法在多个数据集上超越了现有的记录，并对每个测试用例的最佳性能以加粗显示；此外，在每个数据集下最佳表现项也被标注为加粗并带下划线处理
通过测试结果分析可知，在所有评估的数据集上（该模型）的表现均为当前最优水平。与现有技术相比，在未进行数据增强处理的情况下（该方法）取得了显著超越
通过测试结果分析可知，在所有评估的数据集上（该模型）的表现均为当前最优水平。与现有技术相比，在未进行数据增强处理的情况下（该方法）取得了显著超越
随着DenseNet网络深度的增加，模型表现出较高的准确性提升，并且其处理能力也在逐步增强。值得注意的是，在网络深度不断加深的过程中，并未出现明显的参数优化问题以及严重的过拟合现象。
2.作者的模型往往需要更少的参数，但是能得到更高的准确率。
可以看出基于普通数据集与增强数据集的对比实验结果表明：在多数情况下，采用增强数据集后各参赛模型均实现了较高的性能提升。然而，在作者的研究中发现：其模型在提升幅度相对较小的情况下仍然取得了不错的效果，并进一步表明该模型不易过拟合。
这张图展示了Imagenet分类领域中DenseNet与ResNet的性能对比情况；观察到的是，在使用相同参数量时，DenseNet展现出更高的性能表现。