论文速览 | IEEE Signal Processing Letters, 2024 | 基于时空上下文学习的事件相机立体深度估计
论文速览 | IEEE Signal Processing Letters, 2024 | 利用时空相关性信息的事件相机实现立体深度估计
1 引言
在计算机视觉领域中，立体深度估计 一直是一个备受关注的研究方向。传统的基于帧的方法虽然展现出显著的性能提升，在处理运动模糊、低照度及平坦区域等具有挑战性的场景时仍显现出明显的局限性。近年来，事件相机凭借其高时间分辨率、广 dynamic范围以及丰富的边缘信息等显著优势，在计算机视觉领域掀起了一场革命性的技术变革。相较于传统相机系统，在异步模式下实现像素级亮度变化捕捉的能力使其成为解决上述难题的有效解决方案之一
本研究综述了一篇发表于《IEEE Signal Processing Letters》期刊上的相关研究工作。该研究团队开发出一种基于学习的人工智能算法框架——事件立体深度估计网络（Event Stereo Depth Estimation Network, ESDEN），该框架通过整合事件时间聚合模块（E-TAM）与时间引导的空间上下文学习模块（T-SCLM），实现了深度感知能力的显著提升。具体而言，在充分挖掘事件流中的时空关联信息后，在这一复杂领域中取得了突破性进展。
2 动机
传统的基于帧的立体深度估计方法在快速运动、低光照及纹理缺乏等复杂场景下往往难以应对。事件相机的出现带来了新的解决方案的可能性。然而，在现有的事件立体深度估计方法中，大多未能充分考虑场景中的时空关系信息这一关键因素，这使得深度估计结果的质量仍需进一步提升。
本文的研究动机主要有以下几点：
有效利用事件流的时间信息：事件相机能够采集高时空分辨率的信息数据，这些数据记录了物体运动轨迹及其遮挡模式特征，在深度估计任务中提供了关键线索
优化空间上下文学习机制：基于充分挖掘时间信息的基础上，在现有研究基础上进一步加强空间上下文的学习效果，从而实现更为精准的空间深度估计。
利用时空关联性分析的方法来解决不适定的问题，在深度估计领域中特别关注于如何在纹理特征不足或边缘区域实现深度推断。
优化算法的实际性能 ：开发一种在模拟和真实世界结合的数据集上表现优异的算法，以满足自动驾驶、机器人技术和相关领域的实际需求。
3 方法
该论文所提出的方法主要由三个核心环节构成：首先是事件准备阶段；其次是基于事件的时间聚合机制（E-TAM）；最后是引入时空引导的空间上下文学习机制（T-SCLM）。下面我们将对各个组成部分进行深入解析。
3.1 事件准备
为了使事件流能够被深度学习模型有效处理的需求，在本研究中我们希望将原始数据进行必要的预处理步骤。假设存在一个由N个离散事件组成的序列 \varepsilon = \{(x_i, y_i, t_i, p_i)\}_{i=1}^N ，其中每个位置坐标(x_i, y_i)代表第i个事件发生的地点，并且对应的时间戳t_i记录了第i个事件的时间信息。同时，在每个时间戳p_i下都附加了一个极性标记来区分不同性质的活动特征。选择体素化表示方法以便更好地模拟连续空间中的动态变化过程。
具体步骤如下：
将时间戳缩放到 [0:B-1] 的bin索引中：
t_k^* = \frac{B-1}{t_N - t_1}(t_k - t_1)
将事件插入到大小为 B \times H \times W 的体素网格 V 中：
V(x,y,t) = \sum_k p_k \delta(x-x_k, y-y_k) \max(0, 1-|t-t_k^*|)
具体来说，在此情境中
3.2 事件时间聚合模块（E-TAM）
E-TAM的设计灵感源自于注意力机制理论 ，旨在识别或提取整个事件流中长程时间依赖关系。具体步骤如下：
对输入的体素bin应用卷积操作，得到时间特征 F_{t-i}, i \in [0:B-1]。
实现跨bin注意力机制：
将 F_t 和 F_{t-i} 转换为查询 (Q_{F_t})、键 (K_{F_{t-i}}) 和值 (V_{F_{t-i}})。
计算注意力特征：
F_{t-i}^a = F_{t-i} + Conv(Reshape(Softmax(Q_{F_t}K_{F_{t-i}}^T)V_{F_{t-i}}))
当变量i=0时，在模型中生成了基于全局语义信息的长距离依赖性特征；反之则提取了基于时间相关性信息的空间相关性特征。
将各个注意力图进行融合，并通过3×3卷积模块以及上采样技术对提取的特征进行融合处理，最终生成输出特征图 F_{E-TAM}。
3.3 时间引导的空间上下文学习模块（T-SCLM）
T-SCLM旨在利用 F_{E-TAM} 指导多尺度空间上下文学习。该模块包含两个分支：
顶部分支：
-
由一个深度可分离卷积模块与三层残差结构共同构成。
- 能够输出多分辨率特征表示 f_j^R（其中 j取值于集合 \{0,1,2,3\}），每个特征图的维度为 \mathbb{R}^{H_j \times W_j \times C_j}。
底部分支：
随后对时间序列的所有特征执行upsampling操作并将通道数量设置为C。
该方法通过采用类UNet架构作为主干网络，并包含三个3×3的下采样和上采样卷积层来提取多尺度空间特征。
根据上述计算过程生成与f_j^R大小一致的特征f_j^D。
特征融合：
使用CRM模块 [21] 融合两个特征：
f_j = CRM(f_j^R, f_j^D)
经过多个UConv块的处理后，生成了最终的事件特征 F_{event} \in \mathbb{R}^{H \times W \times C}
3.4 立体匹配网络
该系统将提取出的目标特征作为输入信号传递至深度学习模型中进行视差计算。本研究引入了一种改进型的深度学习算法用于实现立体匹配任务，并详细阐述了其工作原理及性能评估指标。
- 通过三层ResNet-like模块构建特征表征。
- 通过多层自适应块匹配算法构建具有更高精确度和鲁棒性的相关体积。
- 经过精心设计的3D卷积操作对匹配体积实施正则化处理。
- 最后通过预定义的softmax函数结合soft argmin运算符 [22] 来计算预测视差值。
3.5 损失函数
本文采用经典的平滑L1损失函数来训练模型：
L = smoothL1(D - D^*)
其中，D 和 D^* 分别表示预测和真实的视差图。
4 实验和结果
4.1 实验设置
论文在两个立体事件相机数据集上进行了评估：
MVSEC（多辆车辆的立体摄像头数据集）
对于MVSEC的研究者而言，在以往的工作基础上对Indoor Flying数据集进行了细致划分，并将其系统性地拆分为三个互不重叠的部分。具体来说，在实验过程中采用了split 1及split 3两个分片来进行后续分析与建模工作。至于DSEC部分，则是通过将生成的视差图精确地上传至官方评测平台，并系统地记录了该过程中的返回数值作为最终评估指标。
本实验利用8块NVIDIA GeForce RTX 3090显卡进行运行，并基于PyTorch框架实现。该优化器采用Adam方法，并且其中动量项系数为\beta_1=0.9，惯性矩量系数为\beta_2=0.999。
4.2 定量结果
基于MVSEC数据集的研究表明，在绝大多数评估指标上该方案均展现出了最领先的性能表现。值得注意的是，在split 3这一关键场景下特别显著地超越了现有方案，在所有评估指标上的优异成绩令人瞩目。此外，在DSEC数据集上的测试结果同样令人满意，在各项关键指标上全面超越了其他方案。通过这些系统性对比实验可以看出，在基于事件的立体深度估计任务中充分提取和利用事件时空维度的关键信息对于提升整体性能具有重要的指导意义。
4.3 定性结果
通过在MVSEC数据集上的可视化实验结果表明，在物体内部区域及边缘区域的估计效果显著优于前两种方法DDES和DTC-SPADE。这得益于所提出的模型能够有效整合基于时间维度的空间–时间语义关联信息，在捕捉局部与全局对应关系方面展现出更强的能力。
基于DSEC数据集设计的大规模城市道路场景中
4.4 消融研究
作者在DSEC数据集上展开了消融实验，并对所提出的模块进行了系统性评估。结果显示：
- 只有未包含两个模块的基线模型，在所有评估指标上均表现不佳。
- 基于MAE的主要评价指标来看，仅采用时间注意力机制（T-ATT）的模型相较于基线版本实现了显著提升。
- 通过引入空间注意力机制（S-ATT），基于事件的空间立体视觉模型较传统方法在关键性能指标如平均绝对误差（MAE）方面实现了较大的提升幅度。
- 整体系统通过合理分配各子网络权重，在关键性能指标如平均绝对误差（MAE）方面取得了显著改善。
5 不足和未来展望
尽管该方法在事件相机立体深度估计任务上表现出较高的性能，在实际应用中仍需进一步优化以提高准确性。
计算复杂度：E-TAM模块采用了注意力机制；这可能导致计算复杂度上升。未来值得探索优化注意力机制或采用简洁型网络结构。
实时性能方面：文中未提及算法运行速度；针对自动驾驶等实际应用需求考量，未来值得重点优化算法的实时性能表现。
跨数据集泛化能力 ：值得注意的是，在MVSEC和DSEC两个数据集上表现出了良好的性能。然而，我们还可以深入探讨模型在其多样化应用场景下的泛化能力。
多模态融合：建议采用事件相机与其他类型相机（如激光雷达）的数据进行融合,从而实现对环境的更全面、精确感知。
探讨网络在处理不同分辨率事件相机捕捉到的数据时的能力。
极端条件下场景处理能力：显著提升算法在极端光照、高速运动以及复杂纹理等场景下的性能。
我们对网络的决策过程进行了深入探讨，并且成功地增强了模型的透明度。这不仅有助于提升对算法的理解能力，并且对于优化算法具有重要意义。
进一步研究如何将时空上下文学习策略拓展至相关领域,例如在立体超分辨率和立体去模糊等方面展开应用
6 总结
本文开发了一种创新性端到端学习算法...用于从立体事件相机实现密集深度估计...其中其核心技术亮点在于整合了两项核心功能...
事件时间聚合模块（E-TAM） ：从时间特征中提取时间上下文。
该模块基于时间引导机制的空间上下文学习模型（T-SCLM）通过时间上下文特征驱动空间相关性构建
该系统通过创新性整合这两个关键模块，在处理实时数据时展现出卓越的能力。网络系统能够充分挖掘和利用事件流中的时空信息，并在此基础上实现对复杂场景的高度适应能力。这种优化设计不仅提升了系统的运行效率，在实际应用中还带来了明显的性能改进。
本研究的主要贡献可以总结为以下几点：
创新性地构建了一种新型网络架构
时间上下文的有效利用：基于E-TAM模块的充分挖掘，在建模时间特征间的长期依存关系方面取得了显著成效，并充分利用了事件相机在捕捉快速变化方面的独特优势。
T-SCLM模块有效地将时间上下文信息整合进空间上下文学习过程中，并促进了时空信息的有机融合。
出色的表现：通过在MVSEC和DSEC两个真实世界数据集上的系统性测试与分析，在大多数关键性能指标上本方法均展现出显著优势，并且超越了现有领域内的最先进解决方案。
该研究成果不仅在自动驾驶与机器人技术等新兴领域中实现了精准的三维建模与分析，在多个相关应用场景中都展示了显著的技术优势。
从全局视角观察而言,这项研究在事件视觉领域取得了突破性进展,并为其未来发展奠定了基础.作为一种新型的视觉传感器设备,事件相机凭借其独特的运作机制,在传统计算机视觉面临的技术瓶颈上展现了独特的优势.研究者通过深入分析了事件流所蕴含的时空特性,不仅实现了空间深度估计的显著提升,还在该基础上衍生出了一系列创新性的解决方案.这些成果不仅拓展了基于事件感知的任务边界,更为后续研究者指明了新的探索方向.
然而，在"不足与未来展望"部分中所探讨的基础上，这项研究仍存在进一步优化的空间。具体而言，如何提升该算法在实际运行中的效率、如何优化模型使其在不同数据集间的适应性更强以及进一步探讨将其应用到其他类型的视觉任务中都值得深入研究的方向。
总体而言，这项研究为事件相机在立体深度估计领域的应用开创了新的研究方向
最后, 用一个比喻来形象地总结这项研究: 如果说传统的立体深度估计方法是在静态的照片中寻找深度线索, 那么这项研究犹如一部高速摄影电影中捕获深度信息. 通过E-TAM模块, 研究者们仿佛为网络安装了一双能够洞察时间维度的独特视角. 而T-SCLM模块则如同一位经验丰富的导演, 在时空交错的画面中巧妙地编织出精确的时间与空间关系.