Advertisement

TransCenter: Transformers with Dense Representations for Multiple-Object Tracking

阅读量:

TransCenter: Transformer-based dense representation model in the context of multiple object tracking

在这里插入图片描述

TransCenter模型中"中心热图分支"的概述。该模块的主要作用在于生成大量中心热图,并将其应用于多个目标跟踪任务以精确定位物体的位置。

多尺度检测特征:右下方的多尺度检测特征块反映了从不同分辨率提取出的特征信息。每个分辨率对应一个特征图,并将用于逐步放大并融合这些特征图以生成最终的中心热图输出。
首先,在最低分辨率下的特征图(例如示意图中的H/32×W/32),经过双线性插值操作(Bilinear Interp.),将图像尺寸放大至H/16×W/16。随后,在经过一个可变形卷积(Def. Conv.)层进行处理后增强了特征表达能力。与传统固定卷积不同的是这种可变形卷积能根据图像内容动态调整卷积核的采样位置以更好地捕捉物体的位置特性。
通过逐级放大并使用可变形卷积处理使各分辨率下的特征图逐步放大直至达到H/4×W/4的空间分辨率。

  1. 多层特征融合:
    ○ 在每一次上采样和平移操作后都会执行一次特征融合操作(通过使用加法运算符的方式)。这种累积过程能够将不同尺度下的特征信号逐步整合起来。
    ○ 最后经过多级融合后得到一个高分辨率的特征图(H/4×W/4),该结构能够精确地反映物体中心位置的信息。

  2. 最终输出层:
    ○ 在获得融合后的高分辨率特征图之后,在该特征图上执行一个二维卷积(2D Conv.)操作以生成最终的中心热图。该热图中每个像素值均表示对应位置为物体中心的概率值。
    ○ 热图生成过程至关重要,因为它直接影响模型对物体位置预测的精度与稳定性。通过使用二维卷积操作所得到的中心热图不仅能够提供物体中心的位置信息,并且还显著降低了多目标跟踪中的误报与漏检情况。

  3. 类似策略的扩展:
    文中共提到类似的策略同样适用于对象尺寸(Size)和跟踪位移(Tracking Displacement)的输出分支。这表明,在生成物体尺寸信息及位移追踪方面TransCenter模型也将采用多尺度融合及上采样方法以确保不同尺度下都能捕捉到丰富的特征信息。

图5系统性地展示了TransCenter模型基于多尺度融合机制与上采样技术协同工作的过程,在图像中精准地标出了目标区域的位置信息。该策略使模型能够有效整合不同尺度的特征信息,在维持高分辨率的同时实现了对目标物体的有效跟踪,并显著提升了检测的准确性和可靠性

全部评论 (0)

还没有任何评论哟~