FPN特征金字塔网络

该研究者提出了一种新型特征金字塔网络（FPN）以应对多尺度目标检测挑战，并对其现有网络架构中的各层之间的连接进行了优化设计。通过这一改进方案，在原有计算量基础上增加了约20%的处理能力的同时显著提升了小尺寸目标检测的效果。

图1 各种解决方法对比

如图1所示：
(a) 基于图像金字塔的方法中，在每一种尺度下单独完成计算以构建特征金字塔的过程速度较慢。
(b) 当前大多数检测系统都是采用单尺度特征检测的方法来加快检测速度。
(c) 方法三通过卷积运算重新利用得到的金字塔结构与图像金字塔具有相似性。
(d) 作者提出的方法四其运行速度与方法二、三相当但精度更高。

本文研究者主要聚焦于RPN网络及其与Fast R-CNN结构的结合。首先, 输入为任意尺寸的图像; 经过多级处理后, 在每个层级均生成统一尺寸的特征图; 这一过程与整体卷积主干架构保持独立性。FPN的核心流程主要由两部分构成: 首先是基于bottom-up的信息整合; 其次是通过top-down传播并结合lateral connections实现信息融合.

自上而下路径的第一部分为Bottom-up Pathway（如图2所示左半部分），这是一个用于前向传播的卷积神经网络主干结构。该结构能够生成层次化的特征表示，并采用缩放步长为2的方式构建特征空间。可能存在多层相邻输出具有相同尺度的特征图，在这种情况下我们将这些层整合到一个stage中，并将每个stage的最后一层输出作为金字塔的一部分（因为这些输出通常提取出最明显的特征）。特别地，在这项研究中作者从ResNets模型中提取了conv2、conv3、conv4和conv5这几个层级作为金字塔的关键组成部分（没有采用第一层的原因是其过深会导致占用过多内存资源）。

第二个部分 Top-down Pathway 为自顶向下（右侧区域），其主要通过将特征图进行 nearest neighbor upsampling 处理以获得更高分辨率且语义更为丰富的特征图。具体操作如图 2 所示：通过 1×1 卷积减少 Bottom-up Pathway 当前层通道数量后与 Top-down Pathway 对应层进行元素级相加操作。并在此基础上逐步迭代直至达到最深层。

图2FPN网络结构思想图

研究者采用了FPN方法并将其应用于RPN以及Fast R-CNN框架内…以展示该技术的有效性。鉴于此原因，在原有体系结构的基础上…对原有系统架构进行了一定程度的优化。

FeaturePyramid Networks for RPN：

原始RPN网络通过一个3×3大小的卷积层及其后接两个并行排列的1×1卷积层生成分类结果与边界偏移量，并在该框架中引入了锚框的概念。为了优化其性能，在FPN架构的特点基础上进行改进时发现，在金字塔层级结构中为每个层级设定单一尺度范围可能不够合理。因此，在这一过程中作者提出了一种新的解决方案：将金字塔各层级分别赋予不同的基础尺度范围（即对应面积）。以P2至P6各层为例，在这一过程中将它们对应的面积设定为{32, 64, 128, 256, 512}平方单位。这些区域按照长宽比为{1:2, 1:1, 2:1}的比例进一步划分区域，在整个金字塔结构中共形成了5个层级、每层级包含3个不同尺度范围（即总共形成5×3=15个不同尺度范围）。需要注意的是，在这一过程中并未对用于生成分类结果及边界偏移量的那个3×3卷积及其后续两个并行排列于其后的1×1卷积过程进行任何改动

训练时以AR作为评价标准。

FeaturePyramid Networks for Fast R-CNN:

在Fast R-CNN架构中，特征金字塔网络（FPN）的主要功能是根据特定规则选择合适的特征图层来执行后续操作如区域池化（ROI pooling）等。其核心理念是通过较深层的金字塔层级来处理较大尺寸的目标区域，在处理较小尺寸的目标时则采用较浅层的金字塔层级。给定一组不同的特征图谱集合{P2, P3, P4, P5}，我们所选择的目标特征图谱记为Pk，则k值由以下公式确定：

224为ImageNet与训练图像的大小，k0为基准值，在这里为5。

数据集

**** 数据集采用的是COCO数据集

实验结果

实验RPN：

（a）提取传统的基于单一尺度的小范围定位网络（其锚定点基于作者所提出的五种不同的尺度）中的conv4特征。

（b）为传统单尺度RPN（与a相同）摘出conv5的结果

（c）为在RPN中采用FPN的结果

可以看到FPN的召回率得到了大幅度的提升，尤其在中型和小型物体上。

（d）只保留了横向连接，性能与原RPN差不多。

取消了横向连接，并仅保留了自顶向下的上采样特征图用于检测结果。整体性能较弱

（f）只用最终得到的feature map，效果也不好

这几组实验说明了特征金字塔以及横向连接都有作用。

实验Fast R-CNN：

基于RPN的实验流程与FPN识别感兴趣区域的研究表明，这种技术方案能够显著提升小物体检测效果。

对比其他单尺度模型的结果：

同样相对来说提升了小物体检测的性能。