深度学习论文之DenseNet
发布时间
阅读量：
阅读量
DenseNet：Densely Connected Convolutional Networks
论文地址：https://arxiv.org/pdf/1608.06993.pdf
DenseNet 是一种具有密集连接的卷积神经网络。在该网络中，任何两层之间都有直接的连接，也就是说，网络每一层的输入都是前面所有层输出的并集，而该层所学习的特征图也会被直接传给其后面所有层作为输入。下图是 DenseNet 的一个示意图。
网络结构：
- 稠密连接（Dense connectivity）：在DenseNet结构中，将每一层的输出都导入后面的所有层，与ResNet的相加不同的是，DenseNet结构采用的是连结结构（concatenate）。这样的结构可以减少网络参数，避免ResNet中可能出现的缺点（例如某些层被选择性丢弃，信息阻塞等）。
- 组成函数（Composite function）：Batch Normalization + ReLU + 3*3 Conv层
- 过渡层：瓶颈层（bottleneck layer，即1 1卷积层）和池化层。1 1的卷积层用于将输入的K个特征图扩展成4K个。池化层采用了平均池化，strides=（2，2）
- 增长率k（Growth rate）：增长率代表的是每一层输出的feature maps相对于上一层增加的深度。在ResNet，GoogleNet等网络结构中特征图深度常常为上百个，其目的主要是为了提取不同的特征。但是由于DenseNet中每一层都能直接为后面网络所用，所以k被限制在一个很小的数值，如k=12。
- 压缩率theta（Compression）：用于在过渡层减少特征图数量，若设theta=0.5，则经过过渡层后特征图数量为m*theta，m为输入的特征图数量
优点：
1.减缓梯度消失问题
2.强化了特征传播
3.重复使用了特征，充分利用信息
4.大大的减少了参数
全部评论 (0)
还没有任何评论哟~