解读CVPR2024-3DGS论文分享|SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes

论文标题：

SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes

SC-GS：用于可编辑动态场景的稀疏控制高斯散射

论文链接：

https://arxiv.org/abs/2312.14937

论文作者：

Yi-Hua Huang, Yang-Tian Sun, Ziyi Yang, Xiaoyang Lyu, Yan-Pei Cao, Xiaojuan Qi

内容简介：

这篇论文介绍了一种名为SC-GS（Sparse-Controlled Gaussian Splatting）的新方法，用于动态场景的高质量新视角合成和运动编辑。该方法通过将动态场景的运动和外观分解为稀疏控制点和密集高斯函数，实现了对动态场景的高效表示和编辑。

关键词重点：

1.稀疏控制点（Sparse Control Points）：

引入稀疏控制点以减少模型复杂性，每个控制点关联有时间变化的6DoF变换。

控制点通过MLP（多层感知机）预测，该MLP基于时间和位置信息输出每个控制点的6DoF变换。

控制点的数量远少于高斯函数，从而为场景动态提供了一组紧凑的运动基。

2.变形MLP（Deformation MLP）：

使用MLP预测每个控制点随时间变化的6DoF变换，减少了学习复杂性并增强了学习效率。

这种预测方法有助于获得时间和空间上连贯的运动模式，提高了动态场景的渲染质量。

3.动态场景渲染（Dynamic Scene Rendering）：

利用线性混合蒙皮（LBS）技术，通过局部插值控制点的变换来确定每个高斯函数在不同时间步的变换。

通过K最近邻（KNN）搜索和高斯核径向基函数（RBF）计算插值权重，从而得到高斯的运动场。

4.优化（Optimization）：

引入ARAP损失函数，鼓励控制点的运动保持局部刚性，避免局部最小值，提高运动的平滑性和真实性。

实施自适应控制点密度调整策略，以适应不同区域的运动复杂性，优化控制点的分布。

5.运动编辑（Motion Editing）：

利用显式稀疏运动表示，通过操纵控制点实现运动编辑，包括预测控制点轨迹、构建刚性控制图和执行图变形。

允许用户控制运动编辑，同时保持高保真外观，扩展了动态场景的应用范围。

6.实验（Experiment）：

在D-NeRF和NeRF-DS数据集上进行广泛实验，证明了该方法在新视角合成方面的性能优于现有方法。

通过定量和定性比较，展示了SC-GS在动态场景渲染和运动编辑方面的优势。

结论和未来工作（Conclusion and Future Works）：

论文总结了SC-GS方法的优势，并指出了其局限性，如对不准确相机姿态的敏感性以及在处理具有常见镜面效果的场景时的局限性。

提出了未来工作的方向，包括结合特殊设计的Spec-Gaussian来更准确地模拟高光和反射效果，以及考虑视频中动态对象的模糊问题，通过去模糊技术提高新视角合成的鲁棒性。

CVPR2024论文合集链接：

https://arxiv.org/abs/2312.14937

希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！