文献学习(part44)--Aberrance suppresse dspatio-temporal correlation filters for visual object tracking

学习笔记，仅供参考，有错必纠

关键词:视觉对象跟踪；相关滤波器；时空信息；彻底的改变

---

Aberrance suppresse dspatio-temporal correlation filters for visual object tracking

摘要

本研究的目的是设计一种基于相关滤波 的鲁棒视觉目标跟踪 方法。在文献中，已经提出了许多基于鉴别相关滤波的跟踪方法，并且获得了令人印象深刻的性能。然而，现有的算法仍然面临着诸如部分遮挡、杂波背景、不确定性、边界效应(尤其是当目标搜索区域很小时)和其他具有挑战性的视觉因素等困难。此外，在目标检测过程中，由照明变化和部分/完全遮挡引起的对象的突然变化会降低性能。

为了解决前面提到的缺点，我们提出了一种利用时空信息的异常抑制相关滤波器进行视觉跟踪的算法。具体来说，我们在相关滤波器中引入空间正则项 来抑制边界效应。随后，在基于离散余弦变换的框架中采用时间正则化来实现更鲁棒的外观模型并进一步增强跟踪性能。此外，我们还介绍了一种抑制由突变引起的反应图异常的方法。

在技术上，我们提出的方法可以通过使用交替方向的乘数(ADMM)技术直接解决 ，计算成本低。

最后，在OTB2013、OTB2015、TempleColor128和UAV123数据集上的大量实验结果表明，该方法优于现有方法。

Introduction

视觉目标跟踪(VOT)在基于计算机视觉的应用 中具有重要作用，如视频监控、自动驾驶、人机交互、医学图像处理、机器人学和其他视觉智能系统[1，2]。例如，VOT在视频监控系统中起着至关重要的作用，该系统可以跟踪一个人的旅行历史，以采取安全措施。

近年来，基于判别相关滤波的跟踪方法[3，4]因其在跟踪性能和计算效率之间的良好平衡而引起了广泛关注。在这方面，通过各种目标跟踪数据集和基准取得了许多突破，如目标跟踪基准(OTB)、模板颜色(TC)、视觉目标跟踪(VOT)、无人机(UAV)和多目标跟踪(MOT)数据集。

尽管在过去的几十年中取得了快速的进展，但是由于目标不断变化以及干扰场景，例如光照变化、背景变化、尺度变化、变形和部分遮挡，目标跟踪 仍然是一个具有挑战性的问题。

为了解决上述问题，我们提出了一种结合目标及其周围环境来构造相关滤波跟踪器以提高跟踪性能的方法。为了使追踪器对各种外观变化有更好的反应，并具有强大的辨别能力，我们在相关滤波器的学习阶段整合了空间和时间信息 。从技术上讲，VOT方法可以分为两类：

• (1)生成模型有助于发现目标外观之间的相似性，并搜索最相似的候选区域；
• (2)判别模型依赖于二进制分类，它将视频中的目标样本与负背景样本区分开。最近，由于其令人印象深刻的性能和实时速度，有区别的跟踪方法在研究人员中闪耀。

因此，在本文中，我们采用了判别法。此外，不同类型的机器学习技术已被用于判别方法，如支持向量机(SVM)分类器[5]，粒子滤波[6]和深度学习[7]。

DCF方法使用卷积神经网络进行特征提取，由于其强大的表示能力，提高了跟踪性能[8]。

最近，基于暹罗网络的跟踪器由于其有效和分级的特征训练而在视觉跟踪中受到了极大的关注。暹罗跟踪器[9]训练暹罗网络进行在线跟踪。基于这一思想，采用了各种优秀的策略来提高暹罗跟踪器的跟踪性能，涉及三重丢失[10]、注意机制[11]和深度强化学习算法[12]。然而，暹罗网络严重依赖于训练样本的质量和充分性，而没有考虑在线跟踪阶段的动态适应。相比之下，所提出的跟踪方法在学习和检测过程中都使用背景块作为负训练样本来扩大搜索区域。

理论上，基于DCF的跟踪器通过循环移位的基本样本获得的训练样本来学习相关滤波器。然而，用于训练滤波器的负样本是通过在真实世界的例子上应用循环移位来隐含地生成的。由于循环性，这些负训练样本引入了循环边界效应，这极大地降低了跟踪性能。为了解决这个问题，空间正则化组件被引入到空间规则化的DCF (SRDCF) [13]中，以根据空间位置惩罚滤波器系数。然而，当目标在平面内/平面外旋转和其他具有挑战性的情况下发生变形时，这些方法对于跟踪任务来说不够有效。当由于激进的变化而发生异常时，DCF框架对于跟踪目标是低效的。因此，为跟踪任务专门设计处理异常的方法是很重要的。为了解决上述问题，我们提出了空间正则化的离散余弦变换和时间信息，以实现一个滚翻外观模型，这大大提高了跟踪性能。

基于上述观察，我们提出了一种通过结合空间正则化和时间信息 来构造异常抑制时空相关滤波跟踪器的方法，以提高跟踪性能。特别地，空间正则化策略根据空间位置来惩罚滤波器系数，并显著降低边界效应。

具体来说，我们将自适应目标外观建模的时间信息合并到一个基于离散余弦变换的框架中，以提供一个鲁棒的目标外观模型 。此外，我们将异常抑制策略引入到所提出的离散余弦变换跟踪器中，以最小化响应图中的剧烈变化。

此外，在所提出的方法中实现了ADMM，以直接解决优化问题。

最后，我们在四个基准数据集上进行了实验评估:OTB2013、OTB2015、TempleColor128和UAV123，验证了跟踪者，并展示了所提出工作的有效性。图1显示了建议的工作和基线跟踪器的跟踪结果和响应图。总而言之，这项工作的主要贡献有三个方面:

• 提出了一种鲁棒的目标跟踪方法 ，该方法综合了空间和时间信息 以减少边界效应，并提供了鲁棒的目标外观模型。
• 在滤波器学习过程中，我们引入了一个带有跟踪 框架的异常抑制相关滤波器模块 ，以避免响应图的突然变化。
• 我们在几个基准数据集 上进行了广泛的跟踪实验。大量的实验结果表明，与最先进的跟踪方法相比，所提出的工作在准确性和鲁棒性方面表现良好。

Problem formulation and proposed framework

在这一节中，我们提出了基于离散余弦变换的跟踪器，它利用了目标的空间信息和增强的背景信息，这些信息是通过抑制畸变而获得的。图2用图形表示了建议系统的总体轮廓。

Baseline tracker(基线追踪器)

在这项工作中，我们考虑背景感知相关滤波器(BACF)跟踪器[27]作为我们的基线跟踪器。C维特征图x ∈ RN是从给定的矢量化图像样本x中提取的，并且矢量化的理想响应y ∈ RN在x ∈ RN中标记对象位置。DCF跟踪器的目的是利用滤波器w ∈ RN在一个新的区域中检测同一目标。

基于给定的输入样本x和滤波器w，相关响应R (x)由\sum_{c=1}^C x^c*w^c生成，其中*表示循环卷积。通过最小化L2损失函数，我们得到相关滤波器。因此，我们将最小化损失函数定义为:

其中，B = R^N是输入样本的每个通道x^c的裁剪矩阵。

Spatial regularized BACF tracker

基于循环频率的跟踪器遭受由训练样本的循环移位引入的不期望的边界效应的问题，这导致跟踪性能下降。

为了减少边界效应的影响，SRDCF [13]引入了一种空间规则化 ，根据滤波器系数的空间位置对其进行惩罚 。然而，这种正则化策略对目标区域滤波器系数实施不相等的惩罚，这使得滤波器学习变形的对象外观模型。

在我们的方法中，现有的基线正则化项被新的空间正则化项代替。此外，新的目标函数描述如下：

其中\odot表示元素式乘法，以及A表示空间正则化权重图，其惩罚滤波器w。

Temporal related spatial regularized BACF tracker

在跟踪过程中，物体的形状和大小随着时间的推移而不断波动。为了克服这一点，我们将时间信息 引入到CF中来实现鲁棒的外观模型。新的目标函数是：

Objective of aberrance repression

响应图的突然变化往往会导致跟踪目标丢失，从而导致目标跟踪性能下降。此外，在CF学习阶段应识别出根本性的变化，并通过限制反应图的变化率 来有效地抑制这种变化。为了找出R1和R2两个响应图之间的差异，欧几里德范数 的使用如下：

其中，p和q表示两个响应图中两个峰在二维空间中的位置差。通过在[F_{p,q}]中进行移位操作来识别两个峰的重合。

当发生畸变时，两个峰的相似度会突然下降，式(4)的值会很高，进一步的畸变很容易识别。此外，为了抑制训练过程中目标区域的畸变，可以将目标函数改写为:

Implementation

Overall objective of the proposed tracker

在本文的工作中，基于BACF跟踪器，裁剪矩阵B保留了充分的搜索区域。通过将目标的空间信息合并到扩展的搜索区域，改进了背景信息。将时间信息整合到搜索区域中，得到有效的背景信息。

最小化函数的总体目标用矩阵形式 表示如下:

其中，\otimes表示克罗内克积，上标T表示共轭转置运算。输入样本x_t的矩阵形式是X_t。而且I_D表示一个D \times D大小的单位矩阵。

Transformation into frequency domain

上式Eq.(6)为以矩阵形式表示的总损失函数，也进行了卷积运算。为提高计算效率，将式(6)转换为频域 。

总体目标的最小化函数可以写成:

Optimization through ADMM

由于ADMM的计算速度快，因此在该方法中采用ADMM来解决优化问题。为了避免凸性问题，利用ADMM最小化式(7)，得到全局最优解。因此，我们将Eq.(7)变换为增广拉格朗日法(ALM) ，如下所示:

ALM方法可以通过求解两个子问题w^*_{t+1}和{\hat{h}}^*_{t+1}来求解，如下:

以上两个子问题有封闭形式的解 。

Solution to subproblem w^*_{t+1}

fast Fourier transform：快速傅立叶变换

Solution to subproblem {\hat{h}}^*_{t+1}

子问题{\hat{h}}^*_{t}包含一个\hat{X}_t，这需要更多的时间来执行计算。这可以通过在每次迭代中利用ADMM来解决。因此，使用了矩阵\hat{X}_t的稀疏性 。

Update of Lagrangian parameter

拉格朗日参数根据以下等式更新:

Update of appearance model