论文笔记LSTD: A Low-Shot Transfer Detector for Object Detection

零样本、单样本、少样本学习对比链接

Abstract

针对训练数据量偏小的问题,构建了一种LSTD模型,并将其与SSD及faster rcnn的优点进行融合型整合

为提升检测性能的微调优化,我们开发出一种新型的正则化策略:该策略基于源域与目标域的基础上,融合了转移指数(TK)和背景抑制(BD).

3,Low-shot;少量注释图片的检测

1,Introduction

为了解决这个问题,之前的方法采用了易于标注的新标签图像作为补充,但这种方法由于缺少足够的训练数据而无法达到充分监督的学习效果.另外一种方法则是通过将深度学习知识从一个领域转移到另一个领域来实现（弱监督学习是指仅标注了类别而未标注边界的情形;半监督学习则是指在类别标注的同时局部区域也进行了边界标注的情形）.

2,Low-shot存在的挑战:
a) 无需额外图像情况下,深度学习迁移至检测任务并不适用.其原因在于涉及的小目标特性以及需要进行微调训练.
b) 相较于分类任务,深度检测模型在迁移学习场景中更容易发生过拟合现象.
c) 基础性微调可能会对模型迁移性能产生不利影响.

3, TK的核心思想在于在其目标设计中转移标签知识；而BD则主要通过框来生成特征图的额外监督，在transferring过程中有效抑制背景干扰。

3,Low-Shot Transfer Detector(LSTD)

Basic Deep Architecture of LSTD:

基于SSD架构实现边界框回归算法

Regularized Transfer Learning for LSTD

首先通过大量源数据对图1所示的基本LSTD模型进行训练。接着利用本文提出的新正则化方法对目标域中的预训练LSTD模型（即图一所示）进行微调。微调后的总损失函数如下：

针对LSTD中的多个尺度层设计了回归损失部分，并引入了微调的目标分类损失（即后面的两个卷积）。由于low-shot检测通常处理的是在训练集中从未见过的新类别，在目标领域中需要重新初始化参数。具体来说，在此过程中将源领域训练获得的模型作为目标领域初始化的基础，并在此基础上进行优化微调。为了防止过拟合现象的发生，在优化过程中增加了正则化项以进一步提升模型泛化能力

正则化项.:

分别表示的是,背景抑制和知识迁移项.

Background-Depression (BD) Regularization

基于复杂背景信息可能会影响localization性能，在目标域中基于object知识设计了BD正则化方法。通过卷积层提取特征立方体（candidate boxes），随后通过ground truth边界框确定匹配区域以识别与背景相关的特征区域。

.然后使用L2正则化.

Transfer-Knowledge(TK) Regularization

由于源域与目标域的类别存在差异，在应用到目标域时需要进行适应性调整；单纯依赖目标域的数据可能会忽略掉宝贵来源知识的价值。因此我们引入了TK正则化方法；该方法通过将源域的目标标签预测结果作为辅助信息来约束目标网络的学习过程

算法如下:

(1) Source-Domain Knowledge

其中As为每个object proposal的向量表示, τ参数通过软化标签和丰富的关系信息。

(2) Target-Domain Prediction of Source-Domain Categories: 通过优化现有的LSTD模型并将其扩展为一个多目标学习框架，在目标域LSTD的末尾添加一个源物体软化分类器：

其中Apre是 each proposal.

(3) TK Regularization.