[目标跟踪] 论文笔记：Parallel Tracking and Verifying（PTAV-Update）
本文提出了一个tracking框架，由tracker和verifier组成，二者并行执行，相互协作，兼顾了tracking过程的速度和准确率。
1.动机
- 在tracking的过程中，目标在大多数情况下变化的较为缓慢平滑，这种情况处理起来很容易。但是会存在一些麻烦的情况（比如目标形变），这些情况可能只是偶尔发生，却会对跟踪造成严重影响。PTAV在这些情况下（而不是每一帧）加入验证模块来提高跟踪准确率。
- 多线程计算在计算机视觉系统中已经非常普遍并且取得很大成功（如PTAM）。
- tracking中速度快的算法和准确率高的算法提供了优质的blocks，PTAV寻求实时和高速的平衡。
2.组成
PTAV由Fast Tracker T 和 Reliable Verifier V 组成。
T 负责满足算法的实时性要求，需要在每一帧定位目标。同时，T以一定的时间间隔向V发送验证请求，并根据V给的反馈继续追踪或调整模型。为了能够在需要的时候快速回溯，T维持了一个邻近帧tracking信息的缓存。最初版本选择的是fDSST算法，本文选取STAPLE算法作为tracker。
V 负责满足算法的准确率要求。收到T的验证请求后，V应该尽可能快的验证追踪结果并反馈给T。为了能使V适应目标外观的变化，V会收集一定数量的tracking结果，并使用K-means对这些结果进行聚类，从而得到一个动态的目标模板池。本文选取Siamese network作为verifier。
3.PTAV
3.1 Framework
3.2 Implementation
Tracking
**** STAPLE tracker 结合了template score（Hog特征）和histogram score（颜色直方图）。HOG特征对运动模糊和照度很鲁棒，但是对形变不够鲁棒。而颜色直方图对形变则非常鲁棒。STAPLE结合了两种的优点，互补之后效果鲁棒，速度很快。template响应来源于optimal correlation filter model w ，histogram响应来源于learned color statistic model h。
在PTAV中，为了能够快速回溯，T存储了邻近帧的中间信息（如w和h）。当V发现不可靠的tracking结果时，V会给T一个包含正确模板位置和帧索引信息的反馈。收到V的反馈后，T会停止目前的追踪并利用存档中的信息重新追踪。
Verifying
**** 孪生网络作为verifier用来测量已有样本和目标对象的相似性。为了应对变形等问题，本文中通过收集可靠性高的tracking结果，动态更新目标模板。
Verification-based detection
**** 如果检验出了tracking failure，又该怎么找到正确的结果呢？这是V需要再次利用孪生网络去找到正确的结果。与verification不同，detection需要验证区域内的多个图块，找到最好的那个，并根据验证分数判断它是否是一个可靠的结果。
在verification中，有三个阈值
，
和
，分别被设为0.6，0.33和0.53。初读时没太明白他们的含义，后来仔细看了一下，大概看懂了。
_If
is greater than a predefined threshold 
, we treat 
as a reliable target template and add it into a temporal set 
. _可以看出 
用于选取可靠（验证分数较高）的目标模板放入目标模板集合中。
_If the verification score is lower than a predefined threshold
, 
will treat it as a tracking failure . 
_用于判断tracking结果是否failure。
_If
is less than a predefined threshold 
, 
is considered to be unreliable, and we do not replace tracking result with 
. _对于tracking failure，需要对区域内窗口每一次滑动做一次检验，选出验证分数最高的那一个，标记为
。
用于判断
是否可靠， 能否用来替代之前被判为failure的结果。这个阈值是针对detection 的。
4. 实验结果
以OTB2015为例。视频序列包含变形（DF deformation）、遮挡（OCC occlusion）、尺寸变化（SV scale variation）、光照变化（IV illumination variations）、运动模糊（MB motion blur）、快速运动（FM fast motion）、背景杂波（BC background clutter）、视野外（OV out-of-view）、低分辨率（LR low resolution）、平面内旋转（IPR in-plane rotation）和平面外旋转（out-plane rotation）这11种有挑战性的情况。
三个评价标准。1. distance precision rate(DPR)表示估计结果与真实结果的中心位置小于给定阈值的帧所占的百分比。（？？？没搞懂，文中写的是DPR demonstrates the percentage of frames whose estimated average center location errors are within the given threshold distance to groundtruth???）2. overlap success rate（OSR）表示估计结果与真实结果的重叠分数大于给定阈值的帧所占的百分比，这里重叠率被定义为
。3. CLE（center location error）表示追踪结果与目标结果中心的欧氏距离。
三类被拿来做比较的tracking算法。1. deep feature-based tracking algorithms 2. correlation filter based trackers 3. other representative tracking methods
观察数据，可以说PTAV确实达到了初衷：兼顾准确性与实时性。
论文还加入了一个模型简化测试，即去掉一些模块后看看对结果产生什么影响。针对不同的V，不同的T，不同的验证间隔N，以及固定模板与动态模板，双线程与单线程等，进行了比较。
5. 总结
PTAV牛逼_(:з」∠)_