Few-Shot Object Detection目标检测
对来自2020年CVPR的一篇关于少样本目标检测的论文进行理解。
1.问题定义
明确界定问题的本质：基于给定的支持图像集合与查询图像集合，在这一前提下寻求对于每一个待检测的目标元素进行分类识别的目的，并将其边界用紧密的框线标注出来。当支持对象涉及N个不同的类别时（每个类别提供K个代表性样本），则属于典型的N-way K-shot检测范畴，在小样本检测领域中所指的‘小样本’通常指那些训练数据量极有限的情况。
2.深度注意力小样本检测模型
本节将介绍模型的第一个组成部分
2.1 attention RPN
第一个问题是RPN是什么？RPN本质上是一种基于滑动窗口的无类别物体检测器。
首先，在输入经过卷积层转换为特征图后进行RPN操作：第一步得到锚框；第二步对每个锚框进行分类分支和回归分支计算；第三步将结果汇总后筛选出候选锚框，并对其进行位置偏移。
这个过程最终目标是提取图像中的目标区域。
再来看我们的需求：目的是将图像中的物体与背景区域区分开来。
为了实现这一目的并去除不属于支持类别的物体干扰，
我们提出了一种改进型Attention RPN：
通过引入支持信息，
成功实现了对不属于支持类别的物体的过滤。
如何在RPN中具体实现支持信息的引入呢？
我们采用了深度可分离卷积方法来计算X与Y之间的相似度，即支持信息与查询信息之间的相似度，并利用这一相似度来生成候选框。
实验表明，在注意力机制下的RPN能够生成尺寸更小且精度更高的候选框，并且这些候选框具有更高的概率包含目标对象。
2.2 多关系检测器
**主要负责进行全局范围内的匹配的模块是基于深度嵌入的学习机制；**专门研究支持对象与其查询候选框在像素级以及深度级关联度的局部模块；**另一个专门负责分析非线性相关性的块级匹配模块。
该研究者通过测试来评估哪一关系模块表现出色。这些测试均在FSOD数据集上完成设计目的是专门用于小目标检测的研究数据集。
到此模型的第一部分已经完成，并已进入下一阶段。我们可以通过进一步分析来探讨目前模型所完成的任务。我们的目标是：基于支持对象，在查询图像中识别出所有不同类别下的相关对象。我们的步骤主要采取了以下措施：第一阶段是构建了一个权重共享网络；第二阶段则是通过应用注意力RPN算法来识别最可能的候选区域；第三阶段利用多关系检测器对支持图像与其候选区域进行精确匹配。
3.双向对比训练策略
3.1双向对比训练策略
下面是模型的第二部分，双向对比训练策略。
这种就是双向对比训练策略的案例之一：包括正面示例图、反面示例图以及查询图。
双向对比训练策略显著优势不仅可实现同类别对象匹配还能区别不同类别对象。该方法存在明显的缺陷即因为大量负向候选框导致训练效率低下为此我们采取改进措施即通过调节负向候选框与负向支持图像的比例使模型既能掌握区分能力又避免不必要的计算从而提高效率。作者将比例控制为这样。
3.2 哪种训练策略更好
对于大家来说, 这种双向训练策略是否最优？经过实证检验, 作者通过实验进行了验证。
大家都知道n-way-k-shot的具体含义吧？它涵盖了N个支持类别, 每个类别提供K个实例样本。
从作者的实验结果来看, 表格中列出了四种不同的训练策略, 其中部分采用了基于注意力机制的RPN模型, 而另一部分则使用了传统RPN架构。
研究表明:
- 要实现少样本检测, 就必须采用少样本训练方法。
- 一个负向支持类别已经足够。
- 在本文研究中, 采用了2-way 5-shot这样的策略进行实验设计。
3.3哪种RPN更好
为了比较attention RPN与普通RPN在小样本检测中的适用性, 我们进行了深入研究。回顾两者的差异点在于: 普通RPN通过图像卷积检测物体与背景, 并生成候选框; attention RPN则在此基础上, 在计算过程中引入图像信息支持, 并尽力生成匹配度较高的候选框。
通过实验对比分析发现, 在两个关键指标上对比结果显示: 不仅评估了在0.5IOU阈值下的召回率表现, 并且考察了候选框与真实候选框的重叠程度。其中, attention RPN方案展现出明显的优势优势: 其在重叠率方面表现更为突出, 这一特点得到了实证验证并得到了专家的认可
至此, 在模型结构设计的第二部分中发现: 采用基于2类别的5个样本策略结合双向注意力RPN对比训练方案取得了显著效果: 其不仅提升了检测精度, 而且优化了整体性能指标. 这一创新性方法为后续研究提供了新的思路