Deblurring 3D Gaussian Splatting

Q : 这篇论文试图解决什么问题？

A : 这篇论文试图解决的问题是：在3D场景重建和新视角合成（NVS）中，如何处理由于镜头失焦、物体运动和相机抖动等因素导致的图像模糊问题。这些模糊效应通常会影响从输入图像中准确重建3D场景，尤其是在使用基于体积渲染的神经辐射场（NeRF）方法时。论文提出了一种名为“Deblurring 3D Gaussian Splatting”的新实时去模糊框架，它通过使用一个小型的多层感知器（MLP）来操纵每个3D高斯分布的协方差矩阵，以模拟场景的模糊程度。这种方法能够在保持实时渲染的同时，从模糊图像中重建出精细且锐利的细节。

Q : 有哪些相关研究？

A : 相关研究包括：

NeRF : 展示了通过隐式函数表示3D场景，为新视角合成生成逼真图像的卓越性能。体积渲染技术是NeRF成功的关键组成部分，但由于其依赖于沿射线的密集采样，与现代自动微分软件生态系统相适应，因此与体积渲染方法相关的渲染和训练成本显著。

3D Gaussian Splatting (3D-GS) : 通过可微分的基于光栅化的光栅化渲染，结合大量彩色3D高斯分布来表示3D场景，以实现高速渲染。3D-GS利用光栅化，这在现代图形硬件上比体积渲染技术更高效，从而实现快速实时渲染。

Deblur-NeRF : 从神经辐射场渲染出锐利图像，并使用额外的多层感知器（MLP）来产生模糊核。

DP-NeRF : 通过从实际模糊过程导出的两个物理先验来约束神经辐射场，以重建清晰图像。

PDRF : 使用两阶段去模糊方案和体素表示来进一步提高去模糊和训练时间。

Fast Inference NeRF : 一系列后续研究通过采用额外的数据结构来有效减少MLP的大小和层数，从而显著提高了推理速度。

Image Deblurring : 传统方法通常构建去模糊问题作为优化问题，并依赖于自然图像先验。而大多数基于深度学习的方法使用卷积神经网络（CNN）直接将模糊图像与潜在的清晰图像映射。

Camera Motion Blur : 一些工作专注于解决另一种类型的模糊，即相机运动模糊，而不是解决长时间的渲染问题。

这些研究为处理3D场景重建和新视角合成中的模糊问题提供了不同的方法和见解。

Q : 论文如何解决这个问题？

A : 论文提出了一种名为“Deblurring 3D Gaussian Splatting”的新实时去模糊框架，来解决3D场景重建和新视角合成中的模糊问题。以下是解决这个问题的关键步骤：

使用3D Gaussian Splatting (3D-GS) : 论文基于3D-GS方法，该方法通过可微分的基于光栅化的光栅化渲染，结合大量彩色3D高斯分布来表示3D场景。

使用小型多层感知器（MLP） : 为了模拟场景的模糊程度，论文引入了一个小型MLP，该MLP操纵每个3D高斯分布的协方差矩阵。MLP的输出是旋转和缩放因子的偏移量，这些偏移量与原始值相乘，从而确定更新后的高斯分布的形状。

训练时的差异化渲染 : 在训练期间，通过MLP调整后的3D高斯分布被用于差异化渲染，以生成模糊图像。

推理时的直接渲染 : 在推理阶段，直接使用3D-GS的原始组件进行渲染，而不涉及任何MLP的偏移量，从而生成锐利的图像。

补偿稀疏点云 : 由于模糊图像可能导致稀疏的点云，论文提出了一种训练技术，通过添加具有有效颜色特征的额外点和基于位置的高斯修剪来补偿稀疏点云，以便在场景的远平面上保留更多的点。

实验验证 : 在基准测试中进行了多种实验，结果表明该方法在去模糊方面是有效的，并且在不同的评估矩阵下，该方法在渲染质量上达到了最先进的水平，同时实现了显著更快的渲染速度（> 200 FPS）。

通过这种方法，论文能够在保持实时渲染的同时，从模糊图像中重建出精细且锐利的细节。

Q : 论文做了哪些实验？

A : 论文中进行了一系列实验来验证所提出的方法“Deblurring 3D Gaussian Splatting”的有效性。以下是实验的主要内容：

实验设置 : 使用PyTorch创建去模糊流水线，保持与3D-GS的可微分高斯光栅化一致。进行了30k次迭代训练，使用Adam优化器进行优化，并设置了MLP的隐藏层和激活函数。为了补偿稀疏点云，设置了添加额外点的起始迭代次数、补充点数、邻居数和最小距离阈值。所有实验都在NVIDIA RTX 4090 GPU上进行。

基准测试 : 在Deblur-NeRF数据集上进行了性能评估，该数据集包括合成和真实的失焦模糊图像。合成失焦图像使用Blender创建，而真实场景的相机位置使用COLMAP计算。

结果和比较 : 提供了定性和定量结果的详细分析。主要依赖于峰值信噪比（PSNR）、结构相似性指数（SSIM）和每秒帧数（FPS）等已建立的指标。与现有的去模糊模型（如Deblur-NeRF、DP-NeRF、PDRF和原始的3D-GS）进行了比较。

消融研究 : 评估了添加额外点到稀疏点云的效果，以及基于深度的修剪方法。结果显示，为点云分配有效颜色特征对于去模糊场景和重建细节至关重要，而深度基础的修剪方法能够更好地重建远平面上的物体。

局限性和未来工作 : 讨论了NeRF基础的去模糊方法与基于光栅化的3D-GS的兼容性问题，并提出了可能的改进方向，如学习网格模糊核。

通过这些实验，论文展示了所提出的方法在去模糊失焦模糊的同时，仍能保持实时渲染的能力，并且与现有尖端模型相比，在不同的评估指标下表现优越或相当。