解读CVPR2024-3DGS论文分享|GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting

论文标题：

GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting

高斯编辑器：基于高斯散射的快速可控三维编辑

论文链接：

https://arxiv.org/abs/2311.14521

论文作者：

Yiwen Chen, Zilong Chen, Chi Zhang, Feng Wang, Xiaofeng Yang, Yikai Wang, Zhongang Cai, Lei Yang, Huaping Liu, Guosheng Lin

内容简介：

论文介绍了一种名为GaussianEditor的新型3D编辑算法，该算法基于高斯绘制（Gaussian Splatting，GS）技术，提供了快速、可控的3D编辑能力。GaussianEditor通过高斯语义追踪和分层高斯绘制（Hierarchical Gaussian Splatting，HGS）技术，实现了对3D场景的精确编辑和对象的快速添加或移除。

重点关键词：

1.高斯语义追踪（Gaussian Semantic Tracing）：

通过将2D分割掩码反投影到3D空间中的高斯分布，为每个高斯分配语义标签，实现对编辑目标的精确追踪。

这种方法允许在训练过程中动态更新语义掩码，以适应3D模型的几何和外观变化，从而实现更精确的编辑控制。

2.分层高斯绘制（Hierarchical Gaussian Splatting, HGS）：

将高斯分布分为不同的代际，对不同代际的高斯施加不同程度的约束，以控制其在训练过程中的流动性。

早期代际的高斯受到更严格的约束，以保持其原始状态，而后期代际的高斯则有更大的灵活性，允许更多的适应性变化。

3.3D修复算法：

对于对象移除，开发了专门的局部修复算法，以减少对象与场景交界处的伪影。

对于对象添加，用户首先提供2D修复掩码和文本提示，然后使用2D修复方法生成单视图图像，转换为3D网格，并细化为HGS表示，最后与原始GS合并。

4.编辑效率：

GaussianEditor的设计允许快速完成编辑任务，包括对象的添加和移除，整个过程通常在5分钟内完成。

该算法的高效性得益于其优化的渲染实现和模型设计，使得在不需要空间剪枝的情况下也能快速训练。

5.实验结果：

通过广泛的实验，论文展示了GaussianEditor在控制性、效率和速度方面超越了以往的3D编辑方法。

论文还包括了定性和定量的比较，证明了GaussianEditor在用户研究和CLIP方向相似性指标上的优势。

6.局限性：

与基于2D扩散模型的先前3D编辑工作一样，GaussianEditor依赖于这些模型提供有效的监督。然而，当前的2D扩散模型在某些复杂提示下难以提供有效的指导，这限制了3D编辑的效果。

GaussianEditor通过这些创新的方法，为3D编辑领域带来了新的可能性，特别是在需要快速且精确编辑控制的应用场景中。