ProFlow: Learning to Predict Optical Flow

2 Our Approach

与传统光流网络相比，在本设计中采用了三个连续帧（t-1, t, t+1）作为输入，并能够计算出前后向两个方向的光流场（forward flow and backward flow）。在获得这两个方向的光流场后，并非直接进行比较筛选异常值（bi-directional consistency check），而是增加了额外的计算步骤（additional calculation steps），从而能够识别出物体被遮挡的区域（occluded regions）。在完成异常值过滤后，在得到前后向两个方向都可获得的结果基础上建立模型（model establishment），该模型可以通过反向光流场推断出正向光流场的信息（information deduction）。具体而言，在反向光流场中有流动信息存在的区域，则在正向光流场中对应的区域将缺乏流动信息；反之亦然。通过这种机制结合（flow integration），即使在缺乏初始正向光流信息的情况下仍可正常运行（normal operation）。最后通过对所获致的稠密光流场进行精细处理（refinement step），进一步提高预测inpaint算法的效果（inpainting performance）。整个流程如图所示

2.1 Initial Flow Estimation / Baseline

在第一步中, 我们需要获取前向和后向的初始光流信息, 即在t时刻及其前后各一个时间单位(t+1和t-1)内的光流信息. 基于这一前提, 在处理大位移光流方面存在现有通用技术. 在其中, 匹配过程使用coarse-to-fine PatchMatch算法进行精确对齐, 然后采用鲁棒插值技术(RIC)完成图像修补(inpainting). 最终优化阶段则采用顺序适应性光照补偿细化(OIR)方法. 值得注意的是, 只有异常值去除这一环节仍沿用传统方法(即双向一致性验证机制).

2.2 Outlier Filtering

基于前述步骤计算出初始流后，还需对异常值进行检测，并采用与计算初始流相似的方法。最后，在正向和反向流场中，仅当它们满足双向一致性检查时才被视为有效。该方法能够有效识别这些异常情况特别是处于遮挡区域的情况

2.3 Learning a Motion Model

本次任务的核心在于掌握运动模型的相关知识，并利用这一模型去探究前向与后向流场之间的联系规律。基于这种联系分析，从而能够推断出在无法直接观测到的区域（如遮挡部分）的光流场分布情况。由于运动模式会受到场景变化的影响。

这些文献之间存在显著差异（例如Flownet和PWC-Net），本文未基于预先训练模型构建CNN光流网络架构，在实验中采用了一种基于无监督学习的方法进行参数优化，在这一过程中实现了光流场密度的提升

Training Data Extraction 模型所需提取的训练数据来源于对初始光流场进行异常值去噪处理后的结果（前向光流场与后向光流场）。当且仅当前向或后向光流场某一个位置上的光流强度超过设定阈值（对应文中所述双向一致性检验标准），该位置就被标记为潜在训练样本候选点。这些候选点按照均匀间隔的方式选取，在抽取过程中每隔10个像素选取一个作为训练样本。每一个潜在候选点对应的输入特征是其所在区域内的堆叠7×7像素块，在堆叠形成的7×7像素块中包含以下内容： 1. 后向光流场的空间分布情况。

和

该系统采用双重验证机制：首先定义一个有效性标志符_ 0 , 1 _以指示位置是否通过了异常值过滤步骤（标记为3）。其次，在归一化处理后的像素坐标系中（范围限定在[-1,1]区间内），每个潜在的学习样本将生成前向光流场中的运动向量。

和

。使用这种方法不需要光流的真实值。

该研究采用基于CNN的回归方法来估计前向光流场。具体而言，在每一段训练过程中，我们需要利用上一节所述的连续排列的7×7像素块集合作为输入数据来估计每个像素块中心点处的空间位置相关的模型（ location dependent model ）。这种设计具有重要意义，在独立运动物体、非刚性形变以及透视投影变换等复杂场景下都表现突出。为了衡量预测结果与真实值之间的差异程度，在损失函数方面我们采用了最小化预测光流矢量与实际正向光流矢量之间绝对差值的方法：As loss function we minimize the absolute difference between the predicted flow vector and the actual forward flow vector.

2.4 Combination and Final Estimation

组合之后，不是稠密的，所以要进行inpainting和refinement。

3 Experiments

Limitations