深度学习论文: FemtoDet: An Object Detection Baseline for Energy Versus Performance Tradeoffs及其PyTorch实现

深度学习论文

1 概述

该文开发了一种名为FemtoDet的针对能源应用的轻量级检测模块。其中一种设计是基于实例边界增强机制（IBE），用于提升深度可分离卷积（DSC）的表现；另一种设计是通过递归热重启动策略（RecWR）来解决模型在训练过程中遇到的数据迁移问题。该方法采用的是多阶段递归热重启动技术（RecWR），这种技术能够有效地应对来自强大数据增强手段带来的数据迁移挑战。

2 FemtoDet

该研究为低能耗检测器的设计提供了基准，并深入探讨了激活函数、卷积运算符以及检测器的Neck结构。基于能效设计相应的Backbone架构及共享Neck模块。具体而言：
Backbone:

• FemtoDet的主要干网络起始部分由8个滤波器构成的全卷积层组成。该主干网络采用了深度可分离Convolution（DSC）技术，在所有后续的操作中被持续应用以保证计算效率的同时确保了足够的计算能力满足实际需求
• 深度可分离Convolution（DSC）是一种高效且灵活的技术，在本研究中被成功应用于主干网络的设计中
• 使用ReLU作为非线性激活选择，并配合BN层实现批归一化处理

SharedNeck:
首先对来自骨干网络的输入进行归一化处理以达到统一的比例级数。随后通过元素叠加实现这些归一化的特征进行整合。随后应用深度可分离卷积（DSC）来进行多尺度信息自适应融合。最终使整合后的特征生成更加多元化的特征表示并进一步提升模型的整体性能。

其中FPN、PAN和提出的SharedNeck在VOC数据集上的性能对比：

2-1 实例边界增强（Instance Boundary Enhancement，IBE）

该模块旨在针对轻量级检测器进行优化设计。受限于轻量级模型有限的表征能力，在学习过程中其提取出的特征往往较为分散。该模块的目标在于优化FemtoDet中的深度可分离卷积（DSC），以解决轻量级模型在表征优化上的局限性。

IBE的核心组件包含一个3×3深度卷积层后接一个1×1深度卷积层。主要通过创新性地设计三个关键模块：局部描述符、语义投影器和对齐归一化层来增强目标检测网络DSC的表现能力。具体而言，在生成局部描述符时采用了一种基于共享深度卷积周围梯度线索的新方法以实现参数重用机制；而语义投影器则利用深度卷积层的线性变换来实现语义信息提取的操作；对齐归一化层由两个独立的设计构建而成以处理特征对齐与不对齐的问题。在模型训练过程中将局部描述符与深度卷积特征相加的方式成功融入了边界线索；并通过这一融合引导模型更加有效地学习实例表示的关键特征。

优化轻量级检测器是一个长期关注的问题。受限于其表示能力，导致检测器学习出分散特征（如图2(b)所示）。通过其有效的机制能够显著地改善检测性能。

2-2 递归启动（Recursive Warm-restart，RecWR）

现有训练策略未能充分运用（Strong Augmentation, SA）所生成的多样化训练示例来提升模型在真实验证数据集上的泛化能力。

在此基础上, 本文提出了一种高效的训练策略称为递归热重启(RecWR). 具体而言, 在这一系列过程中, 经历了四个明确的步骤. 在该过程中, 增强效果依次减弱.

3 Experiments