Hierarchical Object Detection with Deep Reinforcement Learning论文笔记
这篇文章是NIPS2016年关于目标检测领域的文章。虽已 somewhat time-passed but still, its free anchor理念仍是值得借鉴的价值。值得注意的是今年与free anchor相关的领域研究热度较高。然而这些大多是以先定位物体的核心特征如中心点或关键部位为基础逐步拓展至全面学习形状与位置信息。
一、研究动机
基于人类感知世界的方式的启发下
二、研究贡献
（1）基于自顶向下的树状搜索机制进行智能体目标位置的搜索指导。分别考察了两种窗口设置方案：带重叠与不带重叠的情形。分析并探讨了层次结构的设计以及放大区域数量设置对检测性能的影响。
（2）考察并比较了两种不同的特征提取策略：一种是在分割出的小块图像中独立提取特征；另一种是基于整幅图像的整体特征图进行局部化提取。从其对应局部区域内提取相应的局部化特征图，并将其应用于后续分析流程。经过实验验证，在保证检测精度的前提下，第一种方法显著降低了计算开销（主要得益于智能体搜索过程中通过去除大部分不必要的扫描区域实现了效率上的提升）。
三、研究方法（层次化目标检测模型）
马尔可夫过程构建机制
（3）奖励函数（Reward Function）
运动（Movement）的奖励方程基于动作前后两个候选区域与目标区域的IoU变化进行计算（即从一个候选区域b到另一个候选区域b'之间的IoU变化）。
terminal的奖励方程按照最终IoU是否大于某个阈值：
Q-learning
基于价值函数的方法被称为Q(s,a)，其中智能体会倾向于选择累积奖励最大的动作。该算法遵循贝尔曼方程逐步更新策略参数，在此过程中深度神经网络被用来近似计算Q值函数。
完整模型
实验采用了两种不同的特征提取策略，在第一种方法中，图像被分割并缩放至固定尺寸后进行特征提取；而第二种方法则先对整个图像进行一次完整的特征提取，并将特征图切割成7x7的小块作为输入。无论是哪种方式都会生成一个7x7大小的特征图，并将其传递给共享的深度神经网络以生成动作建议（维度为6维）。
模型训练
四、实验分析
如下左图通过比较交错切割与分离切割的方式进行展示，并指出交错切割表现更为突出。右图通过展示先对图像进行切割然后再从切割后的图像块中提取特征来进行检测的效果表明，在这种情况下检测效果更为显著。
本文研究了不同尺寸物体搜索过程中的epochs特征。如下图所示：其中当目标占据画面大部分区域时可以直接完成搜索。反之，在处理较小尺寸的目标时所需步骤会相应增加。
五、总结
通过嵌套层次搜索 的手段摒弃了基于区域建议的方式