Deblurring-3D-Gaussian-Splatting复现

论文：[2401.00834] 去模糊 3D 高斯飞溅 --- [2401.00834] Deblurring 3D Gaussian Splatting

代码：benhenryL/Deblurring-3D-Gaussian-Splatting

摘要：

Radiance Fields 的最新研究以其逼真的渲染质量为新颖的视图合成奠定了坚实的基础。然而，在这一领域中存在两大主要挑战：其一是算法本身计算资源消耗高昂；其二是渲染速度较慢阻碍了其在实时应用中的广泛应用。最近的研究者们提出了基于 3D 高斯展开的新方法来建模三维场景，在保证实时渲染的同时实现了卓越的视觉效果。然而，在输入图像模糊的情况下该方法的表现将大打折扣。图像模糊往往源于相机镜头的焦糊成像、物体运动以及相机抖动等因素干扰了干净图像采集过程。此前的一些研究尝试通过神经场从模糊输入重建清晰图像；然而这些工作大多集中在针对体积渲染型神经辐射场（VNNRF）的方法设计上，并不适用于基于栅格化的 3D 高斯展开方法。为此我们提出了一种新的实时解模糊框架 Deblurring 3D Gaussian Splatting（D3GS）。该框架采用一个小型多层感知机（MLP）来估计每个 3D Gaussian 的协方差矩阵以模拟场景模糊特性。值得注意的是尽管 D3GS 方法仍然能够实现实时渲染但其在从模糊图像重建细节方面表现出了显著优势已通过多个基准测试验证了该方法的有效性

1.下载代码时一些文件夹没有下载成功

基于之前复现的项目（3D Gaussian Splatting for Real-Time Radiance Field Rendering论文）中实现了SIBR_viewers，并集成'diff-gaussian-rasterization'和'simple-knn'算法。

！！！conda activate gaussian_splatting（错误，以下不用看了，直接看2）

该错误提示显示名为 'diff_gaussian_rasterization' 的模块未找到

没有安装glm库，安装一下

    sudo apt install libglm-dev

安装在\usr\include\glm里

在/Deblurring-3D-Gaussian-Splatting-main/submodules/diff-gaussian-rasterization$ 下执行

    python setup.py install

3.报错ModuleNotFoundError: No module named 'configargparse'

    pip install configargparse

4.报错ModuleNotFoundError: No module named 'imageio'

    pip install imageio

5.报错ModuleNotFoundError: No module named 'skimage'

    python -m pip install -U scikit-image

6.ModuleNotFoundError: No module named 'lpips'

    pip install lpips

2.训练

 conda env create --file environment.yml

    
 conda activate deblurring_3dgs
    
 python train.py --expname test_ball -s data/deblur_dataset/real_camera_motion_blur/blurball --config configs/real_camera_motion.txt

成功

把output文件夹复制到以下路径

C:\viewers>.\bin\SIBR_gaussianViewer_app -m test_ball_output

请具体参考[通过Ubuntu系统从零开始配置3D建模软件（第二部分）_Ubuntu 3D建模指南-博客]( "通过Ubuntu系统从零开始配置3D建模软件（第二部分）_Ubuntu 3D建模指南-博客")