深度学习论文: Efficient Multi-order Gated Aggregation Network及其PyTorch实现
发布时间
阅读量：
阅读量
深度学习论文：高效多阶门控聚合网络及其Python实现
1 概述
MogaNet基于其在空间与通道交互空间中的应用，在结合两个独立设计的聚合机制的基础上（...），不仅能够促进多模态信息间的有效交互，并在此基础上实现了对不同场景的建模。
MogaNet-T采用简洁型架构，在ImageNet-1K基准数据集上实施严格的训练配置。该模型实现了80.0% top-1准确率的同时，在计算复杂度方面仅消耗2.04G FLOPs（相较于2.78G FLOPs），较之ParC-Net-S降低了约37%，显著提升了模型效率。
2 MogaNet
2-1 Overview of MogaNet
整个MogaNet架构如下图：
2-2 Multi-order Gated Aggregation
传统深度神经网络（DNN）主要聚焦于低级或高级相互作用的研究。然而却忽视了最具丰富性的中间层级互动。这使得如何精准地捕获上下文中复杂的多级相互作用成为一个关键性难题。
由 2 个级联组件组成：
其中 FD 表示为：
Moga用三个DWConv编码来自context分支multi-order特征。
2-3 Multi-order Features Reallocation by Channel Aggregation
通道聚合机制CA用于重新加权高维隐藏空间的同时扩展至通道聚合CA块。可表示为。
其中 CA(_) 为
2-4 Architecture Details
MogaNet的不同结构配置xt, t, s, b, l。
3 Experiments
COCO 和 ADE20K 的实验结果。
全部评论 (0)
还没有任何评论哟~