Efficient Deep Learning for Stereo Matching

摘

介：

早期给定左边的一张图G_L, 网络通过构建匹配网络能够实现精准识别右边是否为合适匹配, 其本质上是一个二分类问题.与之不同的是, 本文提出的方法通过引入了一个product层用于计算双塔结构中两个表示之间的内积, 将其视为一个多分类问题, 每一类都对应一种可能的偏移量变化.这种设计使得模型能够更好地捕捉到数据中的潜在关系模式, 并在此基础上生成具有代表性的矫正得分, 最终能够带来更佳的匹配性能.

2.相关工作

早期的研究主要聚焦于合适的计算匹配成本。参数调节被用于能量最小化的学习过程中。slanted模型表现出极高的鲁棒性。具有悠久历史的研究背景是该领域的基石。本文有两个主要贡献：首先，在所有可能的偏移值上构建了一个平滑的目标分布函数来进行预测操作。其次，在不同偏移条件下相关值得到了有效的获取与分析。这种限制影响了图像块独立进行二元预测的能力。最后，在网络结构设计上采用了引入点积层的方式将两个分支有效地连接起来从而实现了高效的计算流程。

3.立体匹配的深度学习

基于立体图对进行距离图像计算。假设所选图像对已经过几何校正处理，则核线方向应与水平轴线平行。其中yi表示第i个像素点在二维空间中的偏差量。其绝对值即为该数据集的基础偏差值。通过立体算法可从左视图中计算出每个像素点的三维坐标参数。相反，在本论文中我们将深入探讨卷积神经网络在特征匹配方面的应用

设定这一目标后, 采用双峰架构设计, 将左右图像分别输入到对应的分支中。值得注意的是, 各个分支均接收来自输入的一幅图像, 经过了一系列的卷积操作, 其中每一个分支都配置了空间卷积模块, 使用大小为5×5的滤波器进行处理。接着应用了归一化层和ReLU激活函数。特别地, 在模型训练过程中发现, 在最后一层取消ReLU激活有助于维持负值信息的有效传播。在实验过程中采用了参数共享策略, 并对各层次进行了多次优化尝试

后续处理相较于传统方法更为高效。我们采用product层进行计算两个代表之间的点积分值，并得到了这一过程的结果。这一简洁的操作显著提高了计算效率（如图2所示）。四层网络配置下每组滤波器尺寸为[...]（即每个滤波器输出64个特征），从而生成了一个[...]大小的空间域响应区域

训练：通过随机选取的左图块对网络进行训练，并采用该策略以获取充足的训练样本。值得注意的是，在左图块中随机提取块时所取的中心点即为(xi, yi)坐标，并定义d为相应的真值偏差度量指标。为了提高数据利用率，在右图中采用了更大的块尺寸，并确保这些较大块包含了可接受区域及其所有可能偏差情况下的完整表示。对于双峰网络而言，在其两个分支中分别生成64维特征向量：左分支生成(|yi|) × 64维特征向量；右分支则生成对应的|yi| × 64维特征向量。将这些特征向量作为内积层输入，在计算每个可能偏差值时会针对每个像素位置计算对应的Softmax概率分布。

训练过程中，以权重w最小化交叉熵损失网络。

测试：测试阶段以提高效率为目标，在每个像素处仅生成一个64-dimensional的特征向量。为实现成本优化的目的而构建了数据集。

4.平滑深度网络输出

利用CNN技术获取单通道的数据后，在后续步骤中基于每个图像的处理结果输出所有偏移的预测。值得注意的是，在当前立体算法中仅输出每个像素最可能的配置是不够合适的。这一现象与成本聚合、预处理以及平滑化等技术模式存在差异，并且对于复杂区域的处理通常采用闭合、饱和或重复模块来实现。

经过几十年的发展与探索，在解决立体匹配问题方面提出了多种多帧参考方法。经过几十年的发展与探索，在解决立体匹配问题方面提出了多种多帧参考方法。经过几十年的发展与探索，在解决立体匹配问题方面提出了多种多帧参考方法。经过几十年的发展与探索，在解决立体匹配问题方面提出了多种多帧参考方法。

成本聚合：该方法主要基于固定尺寸窗口计算均值,其基本原理是使用5\times 5大小的窗口进行平均计算

半球块匹配：该方法通过引入新增的属性来提升一元项的能量值，并在处理过程中采用平滑策略以减少偏差值的影响。随后计算所得的一元能量作为网络输出结果。后续涉及的是四个区域构成的领域范围

倾斜平面：通过深度映射技术实现空间分割，在该方法中将图像区域根据位置信息分割成多个块，并结合深度、平滑度和边界能量特征进行分析。对于每个超级像素区域，在其中计算其对应的倾斜平面估计值。不断重复这两个步骤以最小化能量函数E=∑(形状项+位置项+深度项+平滑项+边界项)

预设性分析：三个关键预处理步骤应用于插值过程；同时配合亚像素增强技术和优化措施也被引入到该系统中。其中，在插值过程中需计算前后图像之间的差异程度；而亚像素增强技术则特别适合于基于二维方程模型构建深度映射网络的技术；通过模糊边界处理来平滑偏移映射；最终优化阶段采用了中值滤波和双边滤波等技术手段；在实际应用中，本系统仅选择插值操作作为核心过程而不涉及其他辅助技术。

5.实验步骤

在训练开始前阶段,对每张图片执行标准化处理使其均值为零,标准差为1;然后通过基于归一化分布的方式设定网络参数.