Beyond Max-Margin: Class Margin Equilibrium for Few-shot Object Detection论文阅读
动机
在新类别及其分类与表示之间存在未识别的内在矛盾。这种矛盾体现在：为了使各类别之间保持足够的区分度，在设计两个基类别时必须确保任何两个基类间的距离都达到最大间距要求（max-margin），从而形成了新类别内部元素间的紧密联系。与此同时，在模型设计中还提出了另一个关键约束条件：即各个基类别在整体空间中尽可能靠近目标类别（min-margin），以确保能够准确地从整体空间中提取出该特定类型的典型特征特征向量，并精确描述该类别特征。如图所示
即如何在分类与表示之间实现平衡？这是一个问题。由于作者提出了CME方法，并对其进行了优化改进，在优化过程中分别对特征空间划分和新型类别的表示进行了重点研究。
贡献
模型结构
在训练与微调阶段中所采用的数据集D被划分为支持集与询问集的具体情况将在下图中详细说明。
该个网络结构由两个分支组成，即支持集分支和询问集分支。
支持集分支：随后将该区域的关键组件（包括支持集图片及其对应的边界框）馈入卷积神经网络进行特征提取过程。随后通过应用全局最大池化GMP, 该特征映射会被有效地压缩至与原型向量具有相似维度的空间中。
计算平均原型
询问集分支： 通过卷积神经网络提取出询问集图片的卷积特征
然后利用像素级别的乘法运算与原始向量{μi}进行相乘操作来触发特定特征；随后将被激活的特征输入到预测系统中的分类与定位功能块，并估算相应的检测误差（即分类误差与定位误差之和）。
特征筛选：在目标检测任务中, 卷积特性能包含定位特性和分类特性, 其中分类特性具有较强的类相关性, 而由于其与类别无关, 定位特性可能会干扰类别边界. 因此为了筛选出具有空间信息特性的卷积神经网络单元（CNNs）, 设置了一种全连接层来分离定位特性与分类特性的关系
通过将目标检测问题转换为分类问题来实现这一转变。基于 max-margin loss 的驱动，在检测器的训练过程中筛选出具有定位特征的数据。
Base Training: Class Max-margin ：旨在最大化类别间隔，在同一base类的所有样本点应尽可能靠近其均值点（即类内距离最小），而不同类别间的样本点应尽量远离（即类间距离最大）。针对第k个样本点而言，其对应的均值点即为其前k个样本点的均值。
在基于CNN构建的特征空间中，难以直接求取两类别间的距离度量。为了估算该分类任务的关键指标——即两类之间的区分度——我们随后估计了该边际区域的上下限（所用公式如上式所示）。
Detector Training： 通过优化目标检测损失和最大边际损失来训练检测网络，即训练损失为：
Finetuning: Margin Equilibrium： 当数据量不足时, novel类明显受到影响, 因此novel类需要依赖基于base类学习的特征表示. base类别之间的距离既不能过于宽泛也不能过于狭窄, 本文针对这一问题提出了一种基于特征干扰的边际平衡策略.
Feature Disturbance：在反向传播阶段支持集图片的梯度图为
具有较高亮度变化率的像素等价于具有较高辨别能力的目标区域，并不仅有助于减少微调损失还能够有效地降低微调损失。
当训练检测器时，在执行干扰步骤以去除具有高梯度值的像素，并干扰微调后的特征参数。具体来说是通过基于梯度图生成新的边界框掩码来进行调整：
支持集掩码根据梯度图被更新，如
在微调阶段，更新过
之后，计算原型向量
最小化微调损失：
在反向传播的过程中，基于最大化Max-margin原则来更新网络参数，在其中类内与类间距离之间的关系呈现相反趋势。
在正向传播的过程中,M S 基于支持集掩码更新公式来进行更新;这一过程是通过重新采样支撑集掩码来实现的
在这种方式下，在这种情况下，
无关的特征会被去除，
使得形成辨别性强大的原型的重新采样特征降低。
即通过采用对抗性的小极化边界方法:
从图表中可以看出, 整体主要分为两个阶段: 第一阶段基于base类数据进行模型训练以生成特征表示; 第二阶段则基于base类与novel类平衡的数据集进行微调以检测出小样本的目标.
实验部分
在PASCAL VOC与MS COCO数据集上实施。作为易于集成的一个模块,CME分别与单级检测器(Meta YOLO)以及二级检测器(MPSP)实现融合
消融实验
检测CME各个模块的性能
Max-margin模块在给定数据样本受限情况下（shot=1）表现平平，在shot值为2、3、5时均呈现显著提高趋势。引入feature filtering及feature disturbance组件后可观察到持续增强趋势。
对输出通道的个数进行试验
实验结果显示，输出通道设置成512得到的效果综合来说最好。
表3实验了在哪进行特征干扰 表4实验了采用哪种干扰策略
表3显示，在不包含novel类的情况下通过梯度影响base类原型时能够获得更为显著的效果。表4进一步验证了梯度截断是一种最优的特征干扰策略之一。
实验效果
通过TSNE技术实现数据可视化结果显示，在基准模型中**"cow"类别的样本特征与其他类别之间存在显著重叠现象**而采用CME方法则能够更加清晰地区分各别类别
小样本目标检测
小样本目标检测
小样本目标检测