深度学习论文: Attentional Feature Fusion及其PyTorch实现
发布时间
阅读量：
阅读量
深度学习论文: Attentional Feature Fusion及其实现细节研究及其在PyTorch中的应用
1 概述
特征融合是来自不同层级或分支路径中产生的特征进行整合的一种过程，在现代网络体系结构中这一操作十分常见。然而，在实现这一目标时会采用较为直接的方式进行操作，在某些情况下这种做法未必是最优的选择。本文提出了一种新型的注意力机制方案即注意力特征融合该方法不仅能够有效整合来自不同来源的信息还能提升模型的整体性能并且具有广泛的适用性尤其适用于基于short and long skip connections设计的网络架构以及Inception模块内部的特征整合问题
- 提出的一种多尺度通道注意力机制旨在更为精准地融合语义信息与尺度不一致的特征；
- 引入了另一个层次的关注机制（称为迭代关注特征融合）以解决特征图在初步整合过程中可能出现的问题；
2 Multi-Scale Channel Attention Module(MS-CAM)
MS-CAM是一种多尺度通道注意力模块，在其架构设计上相对简洁。该模块通过不同尺度的两个分支来计算通道注意力权重：其中第一个分支采用全局平均池化操作以获取全局空间特征的关注度映射；第二个分支则直接采用pointwise convolutions来提取局部分支的空间特征对应的通道注意权重。
PyTorch代码：
class MS_CAM(nn.Module):
def __init__(self, channel, ratio = 16):
super(MS_CAM, self).__init__()
mid_channel = channel // ratio
self.global_att = nn.Sequential(
nn.AdaptiveAvgPool2d(1),
nn.Conv2d(in_channels=channel, out_channels=mid_channel, kernel_size=1, stride=1, padding=0),
nn.BatchNorm2d(mid_channel),
nn.ReLU(inplace=True),
nn.Conv2d(in_channels=mid_channel, out_channels=channel, kernel_size=1, stride=1, padding=0),
nn.BatchNorm2d(channel),
)
self.local_att = nn.Sequential(
nn.Conv2d(in_channels=channel, out_channels=mid_channel, kernel_size=1, stride=1, padding=0),
nn.BatchNorm2d(mid_channel),
nn.ReLU(inplace=True),
nn.Conv2d(in_channels=mid_channel, out_channels=channel, kernel_size=1, stride=1, padding=0),
nn.BatchNorm2d(channel),
)
self.sigmoid = nn.Sigmoid()
def forward(self, x):
b, c, _, _ = x.size()
g_x = self.global_att(x)
l_x = self.local_att(x)
w = self.sigmoid(l_x * g_x.expand_as(l_x))
return w * x
代码解读3 Attentional Feature Fusion
3-1 AFF
基于多尺度信道的注意力机制模块M, Attentional Feature Fusion (AFF) 能够被建模为
3-2 iAFF
全息感知方法面临着一个固有的挑战,即如何有效地整合输入特性的信息。这种初步融合的质量,作为注意力机制的输入,会对最终的融合权重产生重要影响。迭代注意力关系式融合方法（iAFF）针对当前机制存在的主要缺陷,通过引入多层自适应关系式增强对初始特征的表示能力,从而实现了对目标场景信息的持续优化更新；其具体表示形式为：迭代关系式关注网络（iterative Attentional Feature Fusion,iAFF）；
3-3 Examples: InceptionNet, ResNet, and FPN
全部评论 (0)
还没有任何评论哟~