Advertisement

Object Instance Mining for Weakly Supervised Object Detection

阅读量:

论文题目:Instance-Level Learning for Unsupervised Object Detection
论文链接:https://arxiv.org/pdf/2002.01087.pdf
论文代码:https://github.com/bigvideoresearch/OIM


该团队成功设计并构建了一个基于弱监督学习的端到端目标检测框架(OIM)。实际上,在该框架中我们实现了对目标实例的有效识别和分类过程。


从现有的多目标检测发现:
  1. 容易陷入局部最优情况。
    该学习机制倾向于对每一个类别学习其最明显的特征,而其他被忽略的物体实例则可能导致学习网络陷入局部最优情况,从而影响弱监督目标检测性能。
    在训练过程中可能会将缺失区域标记为负样本,这种做法可能进一步降低CNN分类器的表现。
  2. 置信度最高的region proposal 通常集中在目标的局部位置。
    这可能导致仅检测到物体的一部分的问题。

两个 Contribution

1、构建了一个利用spatial graphs和appearance graphs模型的网络框架。(OIM)
2、设计了一种目标实例权重增强的损失函数类。(Instance Reweighted Loss)

OIM基于两个基本假设:

1、置信度最高的proposal及其邻近高度重叠的proposal可能属于同一类——基于空间相似性建立spatial graphs
2、同一类的对象应具有较高的相似度——基于外观相似性构建appearance graphs


框架

本框架通过融合Spatial Graph与Appearance Graph构建了新型信息传播机制,在网络迭代学习阶段仅需利用单图像级别的监督信号即可全面提取各目标实例特征。从而可使基于多实例学习的方法得以有效应用,并能更好地识别出那些特征不明显但重要的物体实例。

框架由两部分构成:MID与OIM结合。其中,MID(多实例检测器)负责选择并分类行目标区域,OIM则通过融合各候选框特征并整合MID检测结果,实现目标定位功能。主要介绍的是OIM这一核心模块的技术原理及其应用效果。

在这里插入图片描述

OIM

给定一张图片 I,选定置信度最高的proposal P

构建spatial graphs:

构建appearance图

spatial graphs 和 appearance graphs中所有proposals都用于训练

Instance Reweighted Loss

目标:通过学习更精确的检测框来提升整体性能。
具有最高置信度的区域建议框往往过于集中于目标的具体区域。
这可能导致仅识别物体一小部分的情况。
为了解决非刚性目标实例中仅学习其显著特征而非完整特征的问题,
作者采用了将各个候选框分配不同权重的方法,
以平衡置信度最高的候选框权重与较低置信度候选框之间的差异。

可以看出,在空间图中每个候选框在损失函数上的贡献相等这一现象造成了低分候选框难以被学习的问题。因此,在此引入了该损失函数以平衡这一问题:

采用基于标准多分类交叉熵损失的多标签分类方法,并同时结合了Instance Reweighted Loss作为辅助损失函数参与训练过程。

采用基于标准多分类交叉熵损失的多标签分类方法,并同时结合了Instance Reweighted Loss作为辅助损失函数参与训练过程。


实验

全部评论 (0)

还没有任何评论哟~