【文献】3D Gaussian Splatting for Real-Time Radiance Field Rendering
论文地址：https://arxiv.org/abs/2308.04079
项目：
https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/
代码：
git clone
https://github.com/graphdeco-inria/gaussian-splatting —recursive
一、文章概述
1.问题导向
辐射场 ：辐射场作为一种用于描述光在三维空间分布的方式，在物理学中具有重要的应用价值
显式辐射场 ：相反，显式辐射场直接表示离散空间结构中的光分布，
隐式的光分布模型：隐式的光分布模型描述了场景中光的分布情况无需明确定义场景的具体几何形状。
显式的点阵、网格和体素结构便于进行优化计算尽管这些方法在优化过程中展现出良好的效果但渲染过程中的随机采样虽然耗时费力但也可能导致视觉上的噪声污染。与此同时基于NeRF的方法虽然在计算资源上投入较大**但其渲染速度仍显不足。而采用3D高斯函数则负责将隐式辐射场映射至显式的点阵结构。
2.目标
开发一种既能实现实时性又具备高保真度的场景渲染技术，在整合离散与连续表征的优长的基础上不仅成功地解决了传统方案在噪噪和成像质量上的不足而且显著提升了运算效率
3.摘要
该方法近期实现了对通过多幅图像或视频捕捉场景的新颖观察方式的重大转变。尽管如此，在生成高质量图像方面仍需投入大量资源。相比之下 newer methods inevitably trade off speed for quality.针对无界且完整（而非孤立）的对象以及1080p分辨率渲染目前尚未有一种方案能达到实时显示速率.我们整合了三个关键组件使系统可在保证较高性能的同时实现卓越的画面质量和高效的实际应用（≥30 fps）。
首先，在摄像机标定过程中产生的稀疏点基础上，我们采用三维散斑图来表示场景，并成功继承了场景优化中连续体积辐射场的理想特性；其次，在这一过程中我们对三维散斑线进行了交叉优化与密度调控；第三，在这一系列技术的基础上我们研制了一种支持各向异性飞溅的快速可见性感知渲染算法；在实验结果中我们展示了该算法在多个数据集上实现了最优视觉效果的同时也达到了实时渲染水平
4.贡献
引入各向异性3D高斯球作为辐射场的高质量、非结构化表示。
一种3D高斯属性的优化方案与自适应密度控制紧密结合起来，在所关注的场景中生成高质量的表现形式。
一种适用于GPU的快速可微渲染器。
二、方法解析
2.1 系统pipeline
输入：点云
输出：渲染图像
从初始的sfm点云出发，以每个点为中心生成3DGS。
用相机参数把点投影到图像平面上（splatting）。
基于splatting痕迹进行的散点绘制过程中,通过 tile-based光栅化技术生成渲染图像,并计算该图像与ground truth之间的差异值用于反向传播过程
根据环境自动调整的密度控制模块通过接收周围点的梯度信息来判断是否需要对3DGS执行分割或克隆操作。这些梯度值随后被传播至3DGS内部，并影响并更新其存储的关键参数。
2.2 3D Gaussian 球表示三维模型
采用 3D Gaussian 分布表征三维模型及其细节特征，在具体表现形式上实现了对模型表面信息的有效提取与描述。该过程主要包含两个关键步骤：首先是建立基础覆盖范围（即构建 snowball），其次是实现对覆盖范围的动态投射（即投射 snowball）。基于高斯分布的投射方法在展现三维场景细节特征方面具有显著优势
构建雪球
单纯依靠球体来呈现三维模型的效果显得不够理想。如图所示，在像《我的世界》这样用方块构建虚拟空间的过程中也无法准确呈现细节,因为模型表面过于刚硬难以捕捉细节的变化。这促使我们联想到高斯分布,即关键部位应赋予更高的权重,而非关键区域则相对降低权重以减少突兀感。类似于制作实心雪球，在这种形态下内部材质更为坚韧。
抛雪球
Splatting是一种在计算机图形学领域广泛应用的渲染技术。它通过将三维空间中的物体建模为无数个具有特定尺寸与属性的二维粒子（称为'splat'），并将其投射至屏幕上形成像素块来实现图像生成过程。当我们将场景模型化为由许多球体构成时，在这种情况下如何实现三维空间向二维视角的有效映射？作者采用"抛雪球"这一比喻十分贴切：设想在一个墙面旁投掷雪球的情景，在这种情况下雪球会呈现出扁平状并附着于墙面中心位置积聚更多颗粒物。如果我们模拟大量这样的"雪球"在其路径上依次落在墙上，则能够实现三维空间中的物体向二维表面效果的有效转化过程。值得注意的是，在这一过程中不同位置的'splat'可能会相互覆盖与吸收：我们发现位于边缘区域的' snowballs '最终会被更靠近中心位置的其他' snowballs '所覆盖与吞噬掉上述现象正是高斯抛雪球算法的核心思想所在
文献
文献
文献