多目标跟踪multiple object tracking(MOT)

1。 参考视频效果

https://www.bilibili.com/video/av59547404/?spm_id_from=333.788.b_7265636f5f6c697374.14

Human Flow Monitoring System: TownCentreXVID_OUTPUT_20FPS (Video Data) : Algorithmic Model (YOLO v3 with Deep SORT fusion) from GITHUB.

代码：

该GitHub仓库地址指向https://github.com/yehengchen/Object-Detection-and-Tracking/tree/master/OneStage tensorflow-gpu版次

中文博客：

<>

算法：

yolov3 目标检测+deep_sort 目标追踪

deep_sort是在对目标追踪技术进行深入研究的基础上提出的升级版算法，在这一框架下对行人的重识别问题进行了针对性的研究与优化。该方法通过在行人重识别数据集上进行深度学习模型的训练，并结合实时目标追踪的过程和整体上的优化策略，在提取目标的外观特征的基础上实现了对最近邻匹配算法的有效应用。这种改进使得算法在面对复杂场景下的目标追踪性能得到了显著提升。

step1: 获取当前帧的目标检测框的位置及各检测框图像块的深度特征, 该采用基于yolov3的深度目标检测模型, 其训练可参考yolo官网的信息.

在step2中，我们通过评估每个检测框的置信度(confidence)，对所有检测框执行筛选操作，并剔除置信度低于设定阈值的候选区域。

step3：执行所有检测框的非最大值抑制（Non-Maximum Suppression），去除置信分数较低的候选框，并保留具有最高置信度的目标候选框。

step4: 使用kalman滤波预测目标在当前帧的位置

step5: 重新配置kalman追踪器的各项参数并整合特征数据；同时对目标消失与新目标出现的情况进行检测与识别

step6: 应用一个深度卷积网络以提取128维的目标特征，并在训练过程中可参考与人脸识别技术具有相似性的方法；所使用的数据集为mars。

https://github.com/nwojke/cosine_metric_learning

也成为multiple target tracking (MTT),常涉及到的术语 有：

核心要素：在图像中能够与背景明显区分的闭合区域通常被称作核心要素例如"人"

检测 ：给出目标在图像中的位置的过程称为检测。

通过在连续的图像序列中实施目标检测任务，并将具有物理意义下相同的目标进行关联建立的过程

该方法基于目标追踪技术，在每一帧图像中识别出所有感兴趣的物体后与其上一帧的结果建立联系以实现追踪效果；其显著优势在于能够持续追踪出现在整个视频中的新物体；然而需要注意的是这种方法的前提条件是一个高效的"目标检测"算法

在离线与在线两种多目标跟踪方法中,提取检测结果的关键特征,并评估它们之间的相似性或差异程度,都是构建有效多目标跟踪系统的核心要素之一。通过深度神经网络模型提取目标的外观特征是一种直接有效的方法。例如,在图像识别或行人重识别任务中获得的深度特征可直接替代现有框架中的外观特征,从而显著提升性能表现。另一种基于深度学习的方法是通过计算不同检测之间的相似性来提高跟踪效果,例如设计一个深度网络来计算不同检测点之间的距离函数,从而实现更精确的目标匹配与分离。

person re-id的全称是person re-identification,又被称为行人重检测或行人再识别 ，通常缩写为ReID 。该技术主要基于穿着、体态和发型等特征，在不确定的场景中识别同一人，并追踪其行进路线的技术。对于一张已分割成块的人像图片，在一堆切割精细的画面中寻找同一身份者的图像的过程。

事实上可以说re-id技术属于人脸识别技术的一个升级版因为它同样是基于多媒体内容进行检索的技术在方法论上具有普遍性然而相较于纯的人脸识别而言在跨摄像头场景下需要应对复杂的姿态变化严重的遮挡问题以及多变的光照条件等因素都需要加以考虑

研究形式：

数据集通常由基于人工标注以及自动检测算法生成的行人图片构成，并且目前该系统已独立于检测过程运行并专注于识别

数据集分为训练集，验证集，query,Gallery

基于训练集的数据对模型进行训练后会生成一系列结果数据，并通过获取查询图像和 gallery 图像后提取特征并计算其相似度。针对每一个查询图像，在 gallery 中检索出与之最匹配的前 N 张图片

两大方向：

特征提取：学习能够应对在不同摄像头下行人变化的特征

度量学习通过建立特征与新空间之间的映射关系使得具有相似特性的个体被归类在一起同时能够区分具有不同特性的个体。

存在挑战

1）不同摄像头造成行人外观的巨大变化

2）对于深度学习方法，现有数据集相对较小

常用数据集

CUHK03

Market1501

DukeMTMC-reID

MSMT17

相关博客

<>

该仓库（包含论文、代码等资源），非常实用，并且资源丰富。

1。开源代码

<>

https://github.com/nwojke/cosine_metric_learning，“TensorFlow集成预训练模型库及训练脚本”，开源数据集合

2。论文https://arxiv.org/pdf/1910.10093.pdf

指定该Python库：https://github.com/KaiyangZhou/deep-person-reid pytorch