单目全景图像深度估计方法

读前知识：

360image——“ _360全景图像通过图像合成技术将 四幅不同的图像合成为一幅类似3D的图像。_它可以很好地呈现我们日常倒车或转弯时的盲区图像，有助于提高我们的安全驾驶。然而，360全景图像通过合成技术将前、后、左、右摄像头的图像组合在一起。合成图像的质量与摄像头的清晰度以及摄像头安装位置所显示的范围有关。因此，呈现的图像与实际对象之间会有一定的差距。这对我们来说只是一种驾驶辅助。”

当Image Distortion相当严重。如果用vanilla CNN丢失信息更多，信息损失影响深度估计准确性。

故如何利用辅助计算方法恢复严重扭曲（失真）的全景图像的准确的深度信息，需要研究。

OmniFusion: 360 Monocular Depth Estimation via Geometry-Aware Fusion
Code：https: //github.com/yuyanli0831/OmniFusion.

重点：1、二维与三维特征如何融合。2、基于注意力的变换器结构 the self-attention-based transformer architecture。

联系：医学内镜也是严重扭曲，且特征缺失明显。

通过元素求和将这种几何嵌入与编码器中相同像素位置的图像特征融合在一起。为了保留更多的结构细节，采用了早期融合。几何特征被添加到ResNet编码器的第一层，这样性能更优。与原始的编码器-解码器相比，与几何嵌入模块相关的额外计算成本是最小的(表2)。一旦学习了第一次迭代的几何特征是固定的，因为它们独立于图像输入。只有第二次迭代需要重新计算几何特征。

但是 木有公式？/摊手

总结方法：

1、基于正则投影的切线图像呈现

2、引入了一种融合三维几何特征和图像特征的几何感知融合机制

3、自关注的转换器

作者 Yuyan Li1* Yuliang Guo2∗ Zhixin Yan2 Xinyu Huang2 Ye Duan1 Liu Ren2
单位 University of Missouri 2Bosch Research North America
时间：2022

基金资助：National Science Foundation under award CNS-2018850, National Institute of Health under awards NIBIB-R03-EB028427 and NIBIB-R01-EB02943, and U.S. Army Research Laboratory W911NF2120275.

摘要：提出了一种360单目深度估计管道，OmniFusion，以解决球面失真问题。

这个管道将一幅360度的图像转换成失真程度较低的透视图像(即切线图像)，通过CNN获得逐片预测，然后合并逐片结果，最终输出。

为了处理补丁预测之间的差异，这是影响合并质量的一个主要问题，提出了一个新的框架，包含以下关键组件。

首先，提出了一种几何感知的特征融合机制，将三维几何特征与二维图像特征相结合，以补偿斑块上的差异。其次，采用基于自注意的变压器体系结构对分片信息进行全局聚合，进一步提高了一致性。最后，引入了一种迭代深度细化机制，根据更精确的几何特征进一步细化估计的深度。