解读CVPR2024-3DGS|Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering
论文标题：
Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering
Scaffold-GS：用于视图自适应渲染的结构化 3DGS
论文链接：
https://arxiv.org/abs/2312.00109
论文作者：
Tao Lu, Mulin Yu, Linning Xu, Yuanbo Xiangli, Limin Wang, Dahua Lin, Bo Dai
内容简介：
这篇论文对一种名为Scaffold-GS的新型神经渲染方法进行了详细阐述。该方法利用结构化的3D高斯函数来实现适应视角变化的渲染过程。值得注意的是，在保证与现有3D-GS技术相当的渲染质量及运行速度的前提下，该方法采用了更为紧凑的模型架构，在处理大型户外场景和复杂室内环境时展现出显著的鲁棒性特征。具体而言，在面对透明度、光泽度以及表面反射特性等方面的表现上均优于传统方案，并且在处理无纹理区域和细微的小尺寸细节观察视图时也表现出了显著的优势。
相关工作
该文章回顾了基于多层感知器（MLP）的神经场渲染技术。这些技术将多层感知器（MLP）用作3D场景几何体与表面外观的整体近似工具。此外，还探讨了基于网格结构的神经场渲染技术。它们通过空间数据结构存储场景特征，并在光线追踪过程中执行插值与查询操作。最后部分提到了基于点云表示的人工智能渲染技术。
方法
该系统通过基于SfM（结构从运动）技术中的关键基准进行初始设置，在构建稀疏网格时实现了精准的空间划分，并通过动态计算将各基准间的几何关系转化为可执行的操作指令。系统采用了一种基于深度学习的方法，在处理大规模场景时能够有效减少计算开销。
实验
实验部分对27个来自公开数据集的不同场景进行了全面测试，并具体涵盖了Mip-NeRF360、Tanks&Temples、DeepBlending以及Blender等数据集。研究采用了PSNR（峰值信噪比）、SSIM（结构相似性）、LPIPS（感知金字塔感知损失）等指标，并结合存储大小与渲染效率进行评估。实验结果表明，在保持与3D-GS相当渲染速度的前提下，在内存占用方面实现了显著的优化，并且在多个测试场景中实现了更高的视觉效果。
结论
基于结构化的3D Gaussians以及从单视图匹配（SfM）初始化得到的锚定点位，在可扩展性和实时渲染方面表现出色。该方法在复杂场景下展现出显著优于传统3D-GS的性能水平，并且其锚点编码所提取的局部特征部分能够反映语义信息。
补充材料
补充材料部分全面阐述了Scaffold-GS的具体实现细节, 其中涵盖了锚点特征增强、MLP结构以及对应的优化策略. 此外还进一步说明了数据集构建的具体步骤, 并基于训练过程中获得的数据反馈展示了相关的额外实验结果与分析过程.
一些关键点：
The limitations of 3D Gaussian Splatting (3D-GS): During the training phase, the conventional 3D-GS method generates a large number of redundant Gaussian functions. These excessive Gaussians significantly impact the model's robustness across varying viewpoints, textureless regions, and different lighting conditions.
Scaffold-GS的主要理念是基于锚点分布的局部3D高斯函数，并结合视角方向与距离信息实时预测其属性。该方法有效减少冗余计算并生成高质量渲染结果。
双层次结构： scaffold-GS通过基于SfM（Structure from Motion）生成的稀疏锚点网格起始，并为每个锚点配置一组可训练的神经网络生成函数；这些函数能够根据锚点特性和观测位置动态推导出其属性参数（如透明度、色彩值等）。
锚定点的增长与精简策略： 该研究旨在增强场景覆盖的可靠性和稳定性，并成功开发了基于神经高斯重要性的锚定点的增长与精简策略。
实验结果：基于多样化的实验测试，在多个标准数据集上，Scaffold-GS展示了与其对比具有相媲美或更出色的表现，并且在存储占用和实时渲染效率方面均实现了显著优化。
CVPR2024论文合集链接：
https://arxiv.org/abs/2312.00109
希望这些论文能对您有所帮助！觉得有帮助的话别忘了点赞关注哦~ 后续我们会持续为大家带来更多的论文合集！