论文笔记——Tracktor：tracking without bells and whistles

论文标题：《tracking without bells and whistles》

访问该在线学术资源库中的论文《Bergmann Tracking Without Bells and Whistles》的具体路径为：/content_ICCV_2019/html/Bergmann_Tracking_Without_Bells_and_Whistles_ICCV_2019_paper.html

传统的MOT方法主要采用tracking-by-detection作为基础，并将其划分为两个主要环节：第一部分是每个frame单独处理目标检测；第二部分是在相邻帧之间进行数据关联。

但是步骤（2）这一过程相当具有挑战性，在过去几年来，在提升MOTA方面进展并不显著。基于此，在本文中提出了一种解决方案：鉴于此，在本文中提出了一种解决方案：基于此，在本文中提出了一种解决方案

于是作者在这篇论文中做出了以下几点贡献：

提出了Tracktor基于detection head实现了目标框时间对齐

（2）在vanilla Tractor上新增了两个功能模块（extensions），其中第一个模块基于Siamese卷积神经网络实现身份识别功能（re-ID），第二个模块结合CMC算法构建运动检测模型（motion detection）；

（3）分析了之前的一些tracking算法及其不足，证明Tracktor效果SOTA；

（4）提供了一种新的MOT思路，可以follow。

Tracktor的核心概念在于使用一个 regressor 来预测目标位置。对于每个 frame t 来说，在 t-1 基础上应用该 regressor 即可。这种算法的优势体现在两个方面：其一无需依赖传统的 tracking 方法即可实现；其二在测试阶段无需复杂优化策略即可满足在线处理需求。

该检测器基于Faster-RCNN算法实现目标检测功能，在其主干网络设计中采用了ResNet50与FPN结合的主干网络结构，在多尺度特征提取的基础上能够有效识别大小不一的目标物体。

其训练过程与现有的detector等同于，并首先在其COCO2017数据集上进行预训练。随后调整cls维度，在MOT17Det数据集上进行微调。

Tracktor的流程如上图所示：

回归预测任务中：针对当前处于活跃状态（active）的状态标记为tracklets的对象，在基于上一时刻（t-1）的位置信息基础上，并结合当前时刻提取得到的特征图...的基础上，则可推导出对下一时刻（第t时刻）位置信息及其置信度进行预测。

去除不符合匹配条件的轨迹：基于1中的置信度预测结果，在active列表中筛选出置信度低于设定阈值的tracklets，并借助非极大值抑制进一步去除被遮挡的目标；

对于刚出现的新轨迹：系统会在第t帧执行目标检测流程，在这一操作下会生成一系列候选框。随后系统会排除与当前帧所有活跃跟踪框（active tracklets）交集（IOU）超过设定阈值的所有候选框；剩下的候选框则被作为新的tracklet的第一帧加入到active队列中

算法伪代码如下，非常直观：

基于直接回归方法来进行追踪的应用被视为一个理想模型，在以下两个假设下成立：首先要求 camera 的运动不剧烈 （行人运动不剧烈），其次要求帧率不宜过低。

而这两个问题显然无法回避，在此背景下作者特意引入了两个额外的功能模块即Tracktor++作为解决方案为此特意进行了详细设计与实现研究首先采用了基于ECC建立的CMC模型用于实现相机运动补偿这一部分主要关注于旋转运动的影响；其次采用了一种基于速度恒定假设的方法通过计算前后两帧图像的核心点位置信息进而估计当前帧图像的核心点位置随后通过Tractor++进行回归拟合以获得精确的空间位移结果

为了解决ID重识别问题，在对抗攻击场景中较为常见的一种方法是提出一个基于孪生网络的re-ID方法。该方法通过将锚点映射至特征嵌入空间，在此空间内通过计算样本间的相似度来判断是否属于同一目标追踪对象。具体而言，在特征空间中对样本相似度进行衡量即可实现这一判断。值得注意的是，在Triplet Loss框架下常被应用于该领域研究。如需进一步了解Triplet Loss相关知识可参考（

Ablation研究显示，在引入extension后，并未显著提高性能效果；相比之下，在现有体系中发现FPN的重要性更加突出；相比现有的D&T算法而言，则更为卓越。

在与其他一些SOTA方法进行对比分析时，从多个性能指标来看表现尚可，并且其中一项关键指标是MOTA。

针对低能见度的目标、小型任务以及长时期的检测间隔方面，Tracktor++表现得更加有效地。