DAViS Camera Optical Flow [论文解读]
DAViS Camera Optical Flow [论文解读]
-
-
- 介绍
- 背景
- Davis 光流计算
- 实验结果
-
- 分析时间和空间导数
-
光流结果
- 结论
- 公式附录
-
介绍
现有rgb光流方案大多来自由LK光流发展而来的差分图像模型，但不能处理告诉运动引起的大位移和遮挡，简单提高帧率不显示。本文是专为Davis设备设计的光流算法，结合DVS的高时间解析力和APS的高空间解析力优势，得到比传统光流算法更高精度的光流。
DVS 光流的难点：
- LK光流中亮度不变性假设不满足
- dvs中没有帧概念
贡献
- 从DVS和APS中得到时间和空间导数，再用传统OF方法计算运动场
- 利用DVS的时间分辨率，恢复了每个 APS 帧的近瞬时时间导数。改进了对快速和复杂运动的处理，同时也改善估计 OF 的空间定位的效果
背景
Frame-based 光流 *
亮度一致性假设
一阶泰勒展开得到 光流等式
式2是一个欠定问题，通过引入额外的约束来优化
局部空间连续性被引入用于约束位移量对时间的导数V
DVS * 提高相机的帧率可以减小 ΔX 和 Δt 的效果，以提高式2中的近似性，并减少图像受遮挡影响的区域。
* DVS 缺乏与场景对象的辐射值相对应的像素强度，不满足亮度一致性假设，因此对传统光流方法不友好
Davis 光流计算
-
log强度幅值
-
events信号的产生
log强度的异步信号：当变化幅度超过阈值时，产生下一个信号，信号幅度为极性信号，反应亮度变亮还是变暗 -
从events信号恢复log幅度信号J
本文提出的 OF 算法的输出速率处于 APS 的同步帧速率，比 DVS 的异步输出慢。 但是基于 DAViS 的 OF 远远超过了仅从 DVS 或 APS 输出计算的估计光流向量的可靠性、准确性和分辨率
调整一下顺序，从算法讲起，不然推导太长
输入输出
输入：APS帧 I 和DVS events
输出：运动向量 V
算法涉及的变量及公式解释
#{ } 为集合的元素个数
* $M_k(X)$是在 $k\Delta t$时间戳周围$\varepsilon$时间窗口内的events个数
* $\varepsilon$是控制时间窗口大小的超参
* $M_k^+$是在$k\Delta t$时间戳右侧$\varepsilon$时间窗口内的events个数
* N是用于回复log强度信号J的多项式次数，这里如果时间戳$k\Delta t$周围的events个数为0，直接输出J对t的导数为0，如果两侧的events个数都超过2，则N=2，否则N=1 Comment: 这里感觉N的设置主要是在求解里面设定多项式的最高次数，判断内插方式直接看M的判断条件比较直观。而且21式是cubic 内插，不知道这里是不是把N=3错写为2
* M是当前时间戳两侧的events个数
* 如果超过3个，则直接用25式的过完全导数内插就是有足够的events建立方程，用伪逆矩阵求解） 
其中bN来自于式24
其中B来自式23
式23是待优化的误差函数，cN为待优化参数
式15
式15来自于式13求导
式13的引入原因：要用DVS数据的低延迟特点来推断J对t的导数，因此用导数内插的方法。J(X,t) 是作为 t ∈ R 的函数的平滑信号，用t的高次多项式来内插恢复J
* 如果M=3 用式21来求解J对t的导数
其中A来自式14，见公式附录
ci的求解见式22，见公式附录
* 如果M<3 
式20就是直接用线性内插计算导数：相邻events计算出J对时间导数
Note：\{c_1,...,c_N\}要通过式17或25计算，见公式附录。两种方法都是通过观测到的events来计算出多项式系数
计算运动向量
通过APS帧计算帧的空间导数
直接计算log强度信号的空间导数
式4求解运动向量
算法2类似于算法1，不作详细解释
实验结果
分析时间和空间导数
- 时间空间导数
从APS帧得到空间导数是高质量的，从导数空间上在APS帧的边缘这一点可以得到支撑
基于事件的 OF 计算 DVS 事件在一段时间内的累积。 如图 3(e) 所示，与图 3(a, i) 中所示的 APS 输出相比，事件累积的空间表示较差，这使其不能很好地代表强度帧。 因此其随后的空间梯度图3g缺乏APS的空间细节。 缩短直方图的时间窗口可改善空间定位，但梯度不太稳定且噪声更大
时间导数3d，空间导数3c：在运动幅度较大时，传统APS光流方法的不可靠，因为光流方程中假设这两种导数是一致的
图 3(e,f)的时间导数图 3(h)在旋转圆盘的每个边缘附近显示正负号(如绿色和红色阴影像素所示)。
DVS 生成的事件类似于时间导数，图 3(h)类似于二阶导数的概念，二阶导数对噪声和误差更敏感。 将此与图 3(k) 中的导数插值 ΔJt(X,t) 进行对比，忠实地表示了图 3(i) 的近瞬时时间导数，时间导数的支持与图 3(j) 中的高保真空间梯度几乎完全匹配。
光流结果
图 5(e-f)中的 DVS-OF 方法无法解决运动场的空间变化。在汽车序列中两辆快速移动的汽车穿过路径，较暗的汽车隐藏在较轻的汽车后面。亮度恒定约束被遮挡无效，运动边界附近的 APS-OF 运动矢量是错误的。由于与 APS 帧几乎瞬时的鲁棒时间导数插值，DAViS-OF 方法对传统光流方法最具挑战性的快速运动和遮挡具有鲁棒性，并且移动汽车之间的运动边界被正确地恢复。
结论
DAViS-OF 利用 DVS 的高采样率来计算每帧的近瞬时时间导数，并利用 APS 的空间保真度来估计空间梯度，从而得到可靠的运动矢量估计。 本文展示了 DAViS-OF 可以克服当前基于帧的方法的挑战性限制，例如快速运动和遮挡，同时保持计算效率。实验显示 DAViS-OF 比 APS-OF 和 DVS-OF 方法更可靠、更一致地计算运动向量
公式附录
