Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches

立体匹配通过训练卷积神经网络用于图像块的比较

发表：cvpr2015

该文的主要成果是利用了卷积神经网络来提出两个用于立体匹配计算的方法。该文中基于数据集给出了更优误差率的算法及其对应的实现方案。通过实验证明了与其他现有算法在误差率上的对比研究，并分析了不同超参数设置对结果的影响。

二、相关工作：立体匹配算法的回顾：

第三部分讨论了匹配代价的计算方法：采用监督学习方法通过卷积神经网络计算局部图像块之间的相似度，并基于视差图提取真实的视差值来建立数据集。

确保消极点不围绕真实视差点，

通过引入Opos技术可以确保好匹配和相近匹配都有最低的匹配代价。网络架构：性能架构和计算精度架构

速度架构

精度架构设计中涉及多个关键组件的优化实现：首先，在计算匹配成本方面：对于每一个采样点仅执行一次计算操作；其次，在特征传播策略上：通过使用端到端的全局感知机制，在整个图像分辨率范围内传播子网络的输出特征；最后，在深度估计过程中：每一层都需要精确地捕捉不同视差层次的信息。

四、立体方法：1. 十字交叉域法：基于图像强度值动态调整邻域窗口以选取同一物体像素点并形成十字结构，在十字结构中其延伸端点与中心点的距离不超过预设阈值的同时还需要满足强度差值不超过设定阈值；在左右方向上分别采用相同的方法进行扩展；计算该区域所有像素的平均值以确保左右一致性的满足条件即在左图中位于该区域内的所有像素点必须同时出现在右图对应的视差位置上。

2.半全局算法：4方向线性平滑约束

根据方向上两个相邻像素点的强度差异来决定p1，p2的值，

超参数sgm P1和sgmP2为差距图中的不连续性设定了一定的惩罚权重。当D1或D2中的一个表现出较强的图像梯度时，则基础惩罚将减半；若两者均表现强梯度，则基础惩罚将减至原来的四分之一。在考虑两个垂直方向的情况下，在垂直方向上的P值会进一步降低一倍。在地面对比数据中，在垂直方向上观察到的微小变化比水平方向更为频繁出现，并因此应受到较轻的惩罚。CSGM（p,d）的成本计算采用四个方向取平均的方法。

3.生成视差图：（1）实施左右一致性检验：基于输入图像对，在左、右两幅图像中分别生成左、右两幅视差图。对于左视差图中任取一点P，在其对应的右侧位置(P−Δx)处观察其位移量Δy，则该对应关系应满足Δx + Δy = d₁ + d₂的关系式成立；若Δx + Δy与预设阈值相差超过阈限，则认为该位置存在遮挡现象（obstructed region）。对于被遮挡的像素位置，则采用左侧正确匹配结果进行插值处理；而对于右方未成功匹配的位置，则基于周围左侧正确匹配像素计算平均值得出填补结果

（2）压像素增强

（3）细化：中值滤波和双边滤波：不模糊边缘的情况下平滑视差图。