RGB-T追踪——【综述】A Survey for Deep RGBT Tracking.
目录
-
基于MDNet
-
- 通用网络框架
- 框架特点
- 相关论文
-
基于Siamese网络
-
- 通用网络框架
- 框架特点
- 相关论文
-
基于MDNet vs 基于Siamese
-
其它的深度学习追踪器
第一项是对深度RGB-T跟踪进行调查。
第二项是MDNet旨在学习多域卷积神经网络以实现视觉跟踪。
第三项是CMPP提出了一种基于跨模态传播的RGB-T跟踪方法。
第四项是APFNet通过属性分层融合网络提升了RGB-T跟踪性能。
第五项是ADRNet通过自适应属性驱动表示实现了实时RGB-T跟踪。https://arxiv.org/abs/2201.09296
https://arxiv.org/abs/1510.07945
https://openaccess.thecvf.com/content_CVPR_2020/papers/Wang_Cross-Modal_Pattern-Propagation_for_RGB-T_Tracking_CVPR_2020_paper.pdf
https://ojs.aaai.org/index.php/AAAI/article/view/20187
https://github.com/zhang-pengyu/ADRNet/blob/main/Zhang_IJCV2021_ADRNet.pdf
本文综述了RGBT追踪中基于深度学习的各种方法，并在此四个基准上展开比较分析：GTOT、RGBT210、RGBT234和LASHER这四个公认的基准测试集上展开比较分析。（注：由于这些基准测试集可能并未全部包含所有对比的追踪算法）
基于MDNet
通用网络框架
MDNet源自单目标追蹤领域先驱性地将CNN引入目标追蹤，并凭借VOT2015冠军的成绩声名鹊起。作为单目标追蹤领域的子应用，RGB-T追蹤自然会借鉴该领域诸多表现卓越的追蹤器。该框架基于MDNet设计构建了RGBT追蹤器的具体架构。
如图所示，在该框架中主要组成部分包括三个模块：用于特征提取的模块、用于特征融合的模块以及用于目标识别的模块。
框架特点
- 对特征提取分支、特征融合分支进行独立完成训练任务，在离线环境下分别完成各自的学习过程。
- 由于不同目标具有不同的识别特性，在每次测试序列开始时重置目标分类分支参数的目的在于使其能够适应特定类型的目标（object-specific）。
- 尽管图形未展示，在实验中参与的目标框回归分支（用于计算最大概率的目标四顶点坐标）与分类分支（判断候选框内是否包含前景对象）之间存在明显区别：分类分支仅负责基于预先设定大小（固定大小）的目标候选框判断是否存在目标物体；而回归头则需对原始框位置及尺寸进行精确调整（x, y, w, h），并通过加权函数优化后得到更为贴合目标的实际坐标及尺寸值。
相关论文
许多研究者沿袭了基于MDNet框架的传统，在这一领域主要致力于优化特征提取与分支网络两部分核心模块。随着Transformer技术热度攀升，在这一技术框架下开发出各种性能优异的目标追踪算法成为主流选择。相关研究中一份具有里程碑意义的工作是2020年提出的《CMPP》，尽管其在精度上与近期取得突破性的APFNet不相上下。然而在精度上与近期取得突破性的APFNet不相上下。值得注意的是，在这一创新理念下开发出的各种追踪器正是基于这一创新理念展开研究与开发。
基于Siamese网络
通用网络框架
SiamFC被视为Single-Target Tracking领域的开创性里程碑，在该领域中首次系统性地将Siamese网络引入到追踪算法中。该通用基于Siamese架构的追踪框架主要由四个关键组件构成：首先是一个基于共享权重机制的设计用于特征提取；其次是一个动态评估不同观测之间相似性关系的核心特征融合机制；随后是一个负责分类任务的分类器组件；最后是一个用于回归预测的目标位置的回归预测器组件。
框架特点
由于主要采用离线训练方式作为主干，在此基础上该网络能够实现从输入到输出的完整流程。然而综合考虑后认为该方法的效果尚可。这可能与所使用的训练数据质量有关。经测试发现基于Siamese结构的方法在准确率方面表现一般，并不能令人满意。同时运行速度也未能达到令人忽视精度水平的程度。
相关论文
许多基于Siamese的研究致力于优化特征融合分支以提高准确率作为衡量标准——通过相似性评估来比较不同候选结果的质量。普遍的做法是借鉴自单目标追踪的有效方法并将其扩展至多模态场景中进行应用。SiamCDA正是基于SiamRPN++构建了一个高效的RGBT（RGB+Thermal）跟踪系统。
基于MDNet vs 基于Siamese
- 速度：
- 基于Siamese架构设计的追踪器运行速度更快于其他方法。
由于采用端到端训练策略，在运行测试时直接接收输入图像序列，并直接输出对应的目标边界框。 - 与Siamese基线模型相似的是，在MDNet架构中也存在一个全连接层（FC layer），但该结构要求针对每个目标检测任务都需要进行专门化的模型重参数化初始化过程。
每个目标检测任务都需要针对该特定目标进行专门化的模型重参数化初始化过程。
这种结构使得在测试阶段需要从正负样本库中选取具有代表性的样本数据进行微调才能完成后续的任务。
效果方面来看，在采用MDNet算法设计的追踪系统常可实现较高精度水平
其它的深度学习追踪器
- mfDiMP是在单目标追踪领域重量级追踪器——DiMP的扩展。在单目标追踪领域中，DiMP被分类为基于相关滤波的追踪器。而基于相关滤波的追踪器主要是针对单目标追踪中如何在特征中更精准生成目标的预测框，即改进分类分支。
- JMMAC将ECO——一个也是在单目标追踪中很出名的基于相关滤波的追踪器，作为基础。JMMAC一共有两个处理分支：在外观模型中，利用ECO分别对两个模态生成目标的响应图，然后自己设计一个多模态特征网络为响应图加权；在运动模型中利用卡尔曼滤波器对目标运动建模，还用特征点匹配建模相机运动。这两个分支并不互补，而是当外观模型生成的预测框不理想的时候，切换运动模型来处理。
呜呜呜，国强则实验强，论文强。