Pose Flow:Efficient Online Pose Tracking 学习笔记
本文主要是关于人体的pose tracking，提出了一种基于时空的pose flow方法，将时间信息考虑进来，也就是通过分析前后若干帧的人体姿态之间的联系来完成tracking。
主要的工作分为两部分：
- PF-Builder：生成pose flow
- PF-NMS：在pose flow中应用了非极大值抑制（之前的方法大部分是在单帧图像上做NMS）
目前多人的pose tracking的方法分为两类：
- top-down：在每一帧检测人体的pproposals --> 在每一个boxes中估计keypoints --> 在整个video上track human boxes 也称之为Detect-and-Track方法
- bottom-top：在每一帧上生成关节点检测的集合 --> 构造时空图 --> 求解一个整数线性方程将该图分割对应每个人的人体姿势轨迹的子图
但是top-down的效果要明显优于bottom-top的效果，主要是bottom-top的方法没有考虑到全局的pose信息
由于视频中的遮挡、模糊以及截断等问题的影响，这篇文章提出一种帧间信息共享的方法。
基本概念
1. 帧内姿态距离
2. 帧间姿态距离
文中使用deepmatching方法来进行相邻帧的特征点匹配
3.改进的多人姿态估计
多人姿态估计这里使用 RMPE 方法， Faster R-CNN+ 改进的 SPPE
数据增强
为了处理截断问题，提出一种改进的深度提议生成器（iDPG），也就是把人体区域随机裁剪成四分之一或者一半
motion-guided box propagation
为了处理遮挡和模糊问题，提出通过交叉帧匹配技术将box proposals传播到上一帧和下一帧
PF-Building
对于某个姿态，在后续帧建立候选关联姿态集，即
从 t 到 (t + T) 帧，最大化目标函数
其中s是置信分，与box得分与keypoints分有关
由于这里关心的是总体的置信分而不是单帧的置信分，因此对于其中由于遮挡或者模糊的帧来说仍然可以构建pose flow。
而且 F(t,T) 由F(t, T-1) 和 s(Q_T) 决定，因此置信分的和可以实时计算。
式（6）的解可以看成一个动态规划问题，因此也可以达到实时计算的要求
停止迭代和confidence unification：
当F(t,u+r)−F(t,u) < γ时才停止迭代，并使用平均置信分来更新所有keypoints的分数。
PF-NMS
具有最大置信度得分的姿态流作为参考，通过使用dPF()，融合靠近参考姿态流的其他流，形成新的姿态流，即代表姿态流，代表姿态流的关键点2D坐标和置信度得分分别为：
示意图为
这篇文章的主要思路是对于模糊、遮挡的帧，利用前后帧的信息来进行恢复，也就是所谓的利用了时间信息