深度学习论文: MicroNet: Towards Image Recognition with Extremely Low FLOPs及其PyTorch实现
发布时间
阅读量：
阅读量
MicroNet：一种在图像识别中具有极低浮点运算复杂度的方法及其PyTorch实现
1 概述
该模型基于两个核心设计原则以实现极低的计算复杂度：
- 通过减少节点之间的连接关系以维持网络宽度不下降；
- 在每一层中引入更为复杂的非线性激活函数从而弥补深度缩减带来的计算能力损失。
2 Micro-Factorized Convolution
2-1 Micro-Factorized Pointwise Convolution
将Point-wise的卷积分成多个卷积，W=PφQ
- 原本采用的是C→C格式的卷积。
- 通过分组压缩至P = C/R，并使用了G组群集。
- φ被设计为一个Shuffle层。
- Q则负责将特征从P传递回至更高阶，并同样采用了G组群集。
- 为了确保所有输出通道能够与输入通道保持连通性，在计算过程中我们得出了群集数量G等于√(C/R)。
2-2 Micro-Factorized Depthwise Convolution
将Depth-wise的卷积分解成kx1和1xk的卷积，计算复杂度从O(k2C) 降为 O(kC)。
2-3 Lite combination
该方法采用微因子分解技术结合深度可分离卷积，在每个通道上部署多组空间卷积核以增加通道数量。接着利用一组自适应卷积层对各通道进行融合与降维处理。该方案表现更为卓越的原因在于它通过减少计算开销实现了对更多空间卷积核的学习能力提升。
3 Dynamic Shift-Max
通过加权求和的方式将J个Group中的activation进行融合，并采用基于SE模块生成的注意力权重作为加权系数。
通过多个独立的SE模块提取特征表示，并对它们进行融合以获得最优特征。
x_{j}表示第j个group内部激活特征，则有：
4 MicroNet
Micro-Block-A
Factorized depth-wise和point-wise convolution（以组别形式存在）
在前面的层中表现良好，在于由于通道数量有限的原因下深度可分卷积带来的计算开销较小
Micro-BBlock-B
Factorized depth-wise（通过增加通道数量）与factorized point-wise convolution结合使用
Micro-BBlock-C
Factorized depth-wise与point-wise convolution结合使用
全部评论 (0)
还没有任何评论哟~