解读CVPR2024-3DGS论文分享|Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene Reconstruction

论文标题：

Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene Reconstruction

用于高保真单目动态场景重建的可变形三维高斯

论文链接：

https://arxiv.org/abs/2309.13101

论文作者：

Ziyi Yang, Xinyu Gao, Wen Zhou, Shaohui Jiao, Yuqing Zhang, Xiaogang Jin

内容简介：

这篇论文介绍了一种新的动态场景重建和渲染方法，该方法能够处理单目多视图图像，并重建出准确的动态场景几何结构。这种方法特别适用于需要从一组输入图像中高质量重建和逼真渲染动态场景的应用，如增强现实/虚拟现实（AR/VR）、3D内容制作和娱乐。

重点关键词：

1.变形3D高斯框架（Deformable 3D-GS Framework）：

该框架通过在规范空间中学习3D高斯，并结合变形场来模拟动态场景的变化。

3D高斯的条件依赖于时间，通过联合训练一个纯粹的隐式变形场和可学习的3D高斯来实现。

2.退火平滑训练机制（Annealing Smooth Training, AST）：

为了解决由于姿态估计不准确导致的时序重建过程中的抖动问题，论文提出了一种AST机制。

该机制通过在训练过程中引入线性衰减的高斯噪声，增强模型在早期训练阶段的时间泛化能力，同时在后期阶段防止过度平滑，从而保留动态场景的细节。

3.微分高斯光栅化（Differential Gaussian Rasterization）：

该方法使用了一个定制的微分高斯光栅化管道，允许对各向异性的splats进行α混合。

通过这种光栅化技术，3D高斯能够实现更高的渲染质量，并且达到实时渲染速度。

4.实验结果：

论文中的实验结果表明，该方法在渲染质量和速度方面均显著优于现有方法。

该方法适用于新视角合成、时间插值和实时渲染等任务，并且在实际数据集上表现出色，即使在相机姿态不完全精确的情况下也能提供高质量的渲染结果。

结论：

论文提出的变形3D高斯绘制方法，通过在规范空间中学习3D高斯和变形场，提高了3D-GS不同渲染管道的适用性，特别是在动态捕捉的单目场景中。此外，该方法还引入了一种新的退火平滑训练策略，旨在减少与时间编码相关的过拟合，同时保持场景细节，且不增加额外的训练开销。实验结果证明了该方法在渲染效果和实时渲染能力方面的优势。

CVPR2024论文合集链接：

https://arxiv.org/abs/2312.00109

希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！