论文阅读：Oriented RepPoints for Aerial Object Detection (CVPR 2022)

该论文已发布于https://arxiv.org/abs/2105.11111。代码 accompanying the paper's implementation of Oriented RepPoints用于airspeed object detection at CVPR 2022.

---

摘要：

目录

论文第三章Oriented RepPoints定向重复点

1.Overview

2. Adaptive Points Learning with Orientation 基于方向的自适应点学习

3.Adaptive Points Assessment and Assignment 自适应点评估和分配

---

论文第三章Oriented RepPoints定向重复点

1.Overview

我们在现有文献中的方法[3,8,9,45]之外，并未采取直接预测方向的方式。相反，在复杂场景中有效识别快速变化的方向物体这一目标下，我们通过自适应点集这一创新手段实现了对空间结构的精细刻画。为了突破传统监控限制，在训练阶段我们设计了一套科学的质量评估标准。通过可微转换函数这一关键组件的应用，在定向对象上实现了各代表点适配性地动态定位。同时，在无需依赖单个实例直接对比的情况下，默认采用数据增强策略来提升模型泛化能力。

2. Adaptive Points Learning with Orientation 基于方向的自适应点学习

该方法可使基于点集的方向性检测器的实现更加简便。通过定义一个方向性变换函数G...使得自适应点被映射到相应的方向包围盒中。

其中OB代表基于学习点集R的定向框。本研究中我们探讨了涉及的三种定向变换函数

• 目标是通过样本集合在定向对象上确定最小面积的Bounding box。
• NearestGTCorner采用ground truth annotations，并对每个坐标进行处理以生成预测结果。
• Convex hull是基于Jarvis-March算法[7, 11]计算一组离散点构成的几何形状。

请注意，在本研究中，我们关注NearestGtCorner和ConvexHull这两个关键模块的可微性质及其在后续流程中的作用。然而，在另一端的Minerarect模块则不具备这一特性。因此，在后处理阶段中采用Minerarect模块来生成标准化旋转矩形预测结果，并在此过程中结合另外两个可微分模块来实现自适应点学习。同时，在有向地面真值标注的监督下，在分类精度与目标定位损失方面实现了动态平衡优化机制：通过动态调整机制，使检测到的目标点能够更好地对应于其语义关键点以及几何特征。

初始化阶段通过精细采样对象中心区域（基于feature map bins）来生成初始自适应点集；随后进入细化过程，在此过程中，则通过优化损失函数以实现更为精确的定位调整。

其中λ1和λ2是平衡加权。Lcls表示对象分类损失：

其中，

表示基于学习点的预测类置信度，

标识指定的地面真值类。Fcls作为focal loss[19]被定义。Ncls代表点集的数量。Ls1与Ls2分别对应于初始化阶段与细化阶段的空间定位损失。对于每一个特定阶段而言,Ls都可以通过以下方式加以表征

其中，Lloc是基于转换定向框的本地化损失，Ls.c.表示空间约束损失。

...

3.Adaptive Points Assessment and Assignment 自适应点评估和分配

在缺乏直接监控的情况下，在用于自适应捕获航空图像中密集且多方向的目标时获取高质量的采样点至关重要。为此，在这一研究过程中我们开发了一种有效的评估与分配机制来量化采样点的质量，并将其应用于具有代表性的自适应采样点标记为正样本以提高分类效果。

为了衡量自适应点的质量，在研究这一问题时，默认使用一种质量度量指标 Q。基于四个关键指标——分类能力（即 Q_{\text{cls}}）、定位精度（即 Q_{\text{loc}}）、方向对齐程度（即 Q_{\text{ori}}）以及各方向上对应点的相关性（即 Q_{\text{poc}}），我们可以系统地评估一个学习所得的自适应点集。具体推导过程如下：

点集Ri的分类能力Qcls直接反映了其分类置信度

，其中相应的分类损失Lcls度量点特征与地面真值类标签

的兼容性。我们对Qcls的定义如下：

为了评估点位置与地面真值

研究了兼容性之后

由于Qloc可被视为衡量空间位置距离的一种指标，在面对方向变化时表现出较强的耐受性；尤其是在具有方形特征的对象中表现得尤为突出。为了量化预测点集与地面真实框轮廓点之间的方向一致性问题，在文献[5]中提出了倒角距离这一指标进行评估；首先运用Minearect转换函数从训练数据中提取出四个空间角坐标作为关键特征进行分析

然后从两个相邻的位置按照相等的距离对有序点序列Rv（默认40个）进行取样。同样地，在地面参考真值的位置创建fg1的数据集

。因此，Qori的定义如下：

其中CD表示上述两组采样点之间的倒角距离：

表示预测空间角点的采样点，

表示从地面真值角点生成的采样点。

为了测量面向对象的点集上点之间的关联关系，在本研究中我们计算了每个样本的高维特征向量，并基于这些向量间的余弦相似性来确定学习自适应的相关性指标Qpoc。

表示第i组自适应点的第k点特征向量。

表示第i个点集中的归一化嵌入特征向量及其平均值：

用符号Np代表点集中的具体数值，在本系统中默认设置其值为9个单位。基于所定义的符号系统中第i个点集的Qpoc属性值，则可被定义为其各子区域在该空间中的分布特征逐步累加的结果。

实施动态地进行k标签分配。

其中Nt表示每个定向对象在初始化阶段的点集样本总数。

在训练阶段中使用点赋值器[46]来获取中心点样本赋值，在初始化阶段完成这一操作；随后进入细化阶段时，则采用自适应点评估与分配(APAA)方法，并基于质量指标Q筛选出优质采样数据；仅当选定的正样本集被赋予目标的真实界框时才能完成后续操作；如图3所示通过该方法可以使检测器实现对高质量定位节点的确诊判断从而提升分类可靠性和定位精度；值得注意的是这种方案仅限于训练过程而不影响推理效率

---

相关链接：

CVPR2022文章翻译

CVPR2022文章翻译