论文解读《TransTrack: Multiple-Object Tracking with Transformer》
发布时间
阅读量：
阅读量
论文地址：https://arxiv.org/pdf/2012.15460.pdf
自2020年ECCV上DETR在object detection领域取得显著成效以来
早期的MOT任务通常将检测与识别作为独立的任务处理。尽管基于JDE、FairMOT等方法尝试将两者的网络进行融合，但追踪技术仍然需要依赖深度排序算法才能发挥作用。此外对象集合缺乏有序性会带来一定的挑战。随后研究者借鉴Transformer中的关键-查询机制，并将其引入到 MOT领域中，默认情况下大致流程如下图：
输出当前帧图像后，在其基础上通过一个CNN模型获取特征图；随后降维后通过编码器提取关键点。随后设置两个并行解码器：其中一个将提取的关键点与预训练学习到的目标嵌入结合使用（这些嵌入表示目标的位置信息类似于锚框），解码器能够生成该帧的目标检测框；另一个则利用当前关键点与前一时刻的目标特征进行关联推断出当前目标在前一时刻的位置信息，并最终生成目标跟踪框
随后，在tracking box与detection box之间建立对应关系，并以框间iou值作为配对成本。利用KM算法进行配对后发现：配对结果对应于上一帧中的目标物体；而那些未被配对的box则代表当前帧中新增的目标物体
模型图如下所示：
实验部分感兴趣的话可以看一下论文，这里就贴一张图：
参考：
全部评论 (0)
还没有任何评论哟~