【DA】《Augmentation for small object detection》
arXiv-2019
文章目录
-
- 1 背景与动机
- 2 相关研究
- 3 优点与贡献
- 4 方法框架
- 4.1 过采样技术
- 增强数据生成策略
- 数据复制粘贴策略
-
5 Experiments Section
-
- 5.1 Data Sets and Performance Metrics Analysis
- 5.2 Over-Sampling Techniques Exploration
- 5.3 Image Augmentation Methods Investigation
- 5.4 Content Repetition Strategies Evaluation
- 5.4 Patch Merging Algorithms Study
-
6 Conclusion（own） / Future work
-
1 Background and Motivation
基于深度学习的技术手段，在MS COCO数据集上的目标检测表现越来越好，并非所有小目标的检出率都能与中、大尺寸的目标相媲美
原因
- 含有小目标的图片比较少。
- 每张包含小目标的图片中所含的小目标数量也不够多——含有小目标的位置分布不够多样化。
小目标比较少， both across images and across pixels
研究者主要采取过采样技术以及非重叠模式复制粘贴的方法，在MS COCO数据集上显著提高了小目标检测率
2 Related Work
- 物体检测（OD）
- 实体分割（IS）
- 微小物体
- 提高输入图像分辨率
- 融合高分辨率特征
3 Advantages / Contributions
通过数据增强和基于模仿复制的方法，在目标检测任务中优化小目标的检测效率
4 Method
Small object detection by Mask R-CNN on MS COCO
统计较为细致；the number of average matching anchors is relatively small；the average max IoU is also relatively small.
a big object existing across several sliding windows' positions often exhibits a high IoU with numerous anchor boxes
相较于整体图像而言的小目标区域也会带来一定挑战性（在现有系统中仅会有少量高质量的负样本被识别出来）。这是因为每个 ground truth（GT）仅由一个 anchor 负责其预测过程。相比之下，在传统的正负样本配准策略下这些区域附近的 grid anchors可能无法有效覆盖到这些较小的目标区域。而这些低质量的小目标区域在配准时可能会牺牲整体配准效率和准确性。
4.1 Oversampling
over-sample images containing small objects
4.2 Augmentation
（1）copy mask
（2）random transformations——object size ±20% and rotate it ±15°
（3）paste
4.3 Copy-Pasting Strategies
5 Experiments
5.1 Datasets and Metrics
MS COCO 2017
118,287 images for training, 5,000 images for validation and 40,670 test images.
A total of 860,001 and 36,781 objects within 80 distinct categories are annotated by ground truth boundary boxes for the purpose of instance-level masks.
5.2 Oversampling
可以看出，小目标提升了，大目标的效果会响应的降低
5.3 Augmentation
aug 应该是 copy-aug-paste 替换了原图
aug + oversample 是 aug 的基础上过采样，应该也不涉及到原图
aug + 原始图像相当于每个小目标图片对应两个增强后的小目标图像，在这种情况下训练数据量显著增加，并对基准模型来说略显不公平
同样也可以观察到，小目标提升了，大目标的效果会响应的降低
5.4 Copy-Pasting strategies
（1）Copy-pasting of a single object
单个小目标被 copy-paste 很多次
（2）Copy-pasting of multiple objects
许多小目标，每个小目标仅可能被 copy-paste 一次
select many items and copy and paste each one exactly once anywhere
（3）Copy-pasting of all small objects
Repeatedly copy and paste various small items within every image several times over across various random positions.
感觉和 multi 的区别是 all，效果没有 multi 好
5.4 Pasting Algorithms
paste 的时候，不 overlap，边缘也不做 gaussion blur 效果最好
6 Conclusion（own） / Future work
MS COCO 数据集检测和分割的 leaderboard
* https://cocodataset.org/#detection-leaderboard可提升的空间有限；夸大其词地吹嘘 relative increase 令人难以置信；而当实现小目标时会导致大目标效果大幅缩减；整体 AP 的增长幅度非常有限。
方法没有任何创新点，文章描述不够简洁
数据集的分析可以参考参考
其他解决小目标的经验方法
聚焦于小目标检测研究的两年多学习体会分享
采用切片辅助的超快推理技术(SAHI)，即称为一种算法名称该算法通过结合切片辅助和超快推理技术实现高效检测。
密集型Anchor采样配合配准策略（对于小目标物体，则采用较为宽松的配准方式）S3FD, FaceBoxes
利用 Context 信息的 Relation Network
目标检测的挑战 — 小目标检测
目标检测的挑战 — 小目标检测
