ECCV2024论文解读|MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images从稀疏多视图图像高效生成 3D高斯
论文标题
MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images
MVSplat：从稀疏多视图图像高效生成 3D 高斯 splatting
论文链接
MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images论文下载
论文作者
Dony Chen, Chuanxia Zheng, et al.
内容简介
本文介绍了一种名为 MVSplat 的高效模型，该模型能够从稀疏多视图图像中预测干净的前馈 3D 高斯分布。通过平面扫描构建代价体表示，利用跨视图特征相似性为深度估计提供几何线索，同时学习其他高斯基元参数。MVSplat 在 RealEstate10K 和 ACID 基准测试中实现了最先进的性能，并拥有最快的正向推理速度（22 fps）。与最新的最先进方法 pixelSplat 相比，MVSplat 使用的参数少 10 倍，推理速度快 2 倍以上，同时提供更高的外观和几何质量以及更好的跨数据集泛化能力。
分点关键点
1.代价体表示
通过平面扫描构建代价体，存储跨视图特征相似性，为 3D 表面定位提供几何线索，降低学习难度，使模型以轻量级尺寸和快速速度实现高性能。
2.多视图深度估计
基于 2D 卷积和注意力机制，包括多视图特征提取、代价体构建、细化、深度估计和细化，不使用 3D 卷积，提高模型效率。
3.高斯参数预测
预测高斯中心、不透明度、协方差和颜色等参数，使用匹配置信度预测不透明度，通过卷积层预测协方差和颜色，实现高质量渲染。
4.训练损失
使用渲染图像和真实图像之间的光度损失进行端到端训练，确保模型输出与真实场景一致。
5.实验结果
在 RealEstate10K 和 ACID 数据集上，MVSplat 在所有视觉指标上均优于先前的最先进模型，且推理时间最快，模型尺寸轻量级。在跨数据集泛化能力方面，MVSplat 也表现出色，优于 pixelSplat。
ECCV-3DGS论文合集：
希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！