Advertisement

论文阅读《Cascade Residual Learning: A Two-stage Convolutional Neural Network for Stereo Matching》

阅读量:

Cascade residual learning (两阶段)

Problem: 不适用区域(其中主要表现为目标遮挡、重复纹理以及无纹理等情况)导致难以生成高质量的视差图

贡献:

  1. 通过采用DispNet与up-conv技术的结合实现全分辨率输出,在此过程中使得视差图像包含更多细节。
  2. 在初始视差校正过程中(通过多规模残差学习机制提供更为有效的优化方案)

Tip: 直接学习残差信号比直接学习视差更容易

改进: 非单一地堆叠多个残差块的情况下,在无法直接通过残差信号进行有效的监督时,则采用多尺度的残差学习机制,并以ground-truth与初始视差之间的差异作为监督目标来优化模型性能

特点:

  1. End-to-end
  2. 集成传统pipeline(匹配代价计算、代价聚合、视差计算、视差优化)

Stage 1:

对Dispnet的改进:额外的反卷积使视差图恢复到输入图大小的分辨率

DispFullNet优势:提供额外的信息,学习目标边界尖锐的变化

产出:相对左图的初始视差,根据视差warp出右图得到一个合成的左图

Stage 2:

输入concatenation

新的视差 d2=d1+r2

在极端情况下,在第一阶段已经生成了最优视差图,在第二阶段通过维持其最佳状态以实现0残差

0:原始分辨率

理解:不同的分辨率都有一个初始视差,学习多规模的残差信号

亮点:非采用一个个堆积残差块,而是多规模的残差学习机制

优势所在:相较于仅基于counterpart的传统方法而言,整合残差学习机制后表现出色,并有助于提升整体网络的微调能力的同时能够有效降低过拟合风险。

全部评论 (0)

还没有任何评论哟~