观看多目标跟踪视频笔记

观看多目标跟踪视频https://www.bilibili.com/video/av92669528笔记

https://cloud.tencent.com/developer/news/363379

MOT benchmark： https://motchallenge.net//

few shot 是小样本
one-shot learning 指的是我们在训练样本很少，甚至只有一个的情况下，依旧能做预测。
one-shot learning 的意义就是
（1）减少训练数据
a 深度学习需要大量的数据
b MNIST为了10个类别的区分，需要60000张训练图像，平均一个类别需要6000张训练图像
c one-shot试图将一个类别的训练图像减少，极端情况时减小到一张图片
（2）在新类别的数据出现时，无需重复训练
a 传统的深度神经网络无法处理没有出现在训练集中的类别
b 以员工刷脸打卡为例，使用传统深度神经网络，每一个新员工入职，都是一个新的类别，需要重新训练深度神经网络
c 如果每天都有新员工入职，每天都要重新训练网络，成本非常高
d one-shot learning可以无需重新训练即可应用于新的类别的数据

one-shot learning的核心原理是什么？
传统神经网络旨在学习同一类别图像的独特表示。
one-shot learning的目标是识别不同图像之间的差异性（无论它们是否属于同一类别）。
给定图片A和图片B，在深度学习模型中将图片转化为其对应的嵌入向量p和q。若图片A和B属于同一类别，则要求p与q具有高度相似性；反之，则要求p与q具有显著差异性。
计算两个嵌入向量之间的相似性程度通常采用欧几里得距离作为度量标准。

tracking的方法
（1）model-free
先将第一帧中的目标检测出来，然后在之后的帧中跟踪第一帧标注出来的目标。但是如果后面帧中由新的对象则会出现问题
（2）tracking-by-detection又分为offline learning、online learning、Near-online learning
offline learning就是视频的所有帧都标出来框，这样在第t帧就可以用到前后视频帧的信息，也可以及时修正
online learning就是在第t帧只能用到当前帧和之前帧的信息，相比于offline learning更能实时，接近于真实情况
Near-online learning就是介于前两种之间，在第t帧可以修正（t-T，t）这一时间段的内容

offline learning的应用越来越广泛，在过去十年里不断涌现新的实践

在线学习（online learning）自2014年以来逐渐发展开来

近线性学习（Near-online learning）自2015年以来个别开始发展

short-term tracking任务中，SiamFC（ECCVW16）、SiamRPN（CVPR18）、SiamMask（CVPR19）系列算法分别基于one-shot学习框架、模板匹配方法以及速度更快但精度较低的特点实现。另一方面，在MDNet（CVPR16）、ECO（ICCV17）及ATOM（CVPR19）模型中，则采用了更为准确的在线学习框架和基于判别性分类的方法进行设计，在准确率上表现更好但计算速度较慢。