【视觉三维重建】【论文笔记】高清3D高斯泼溅（Deblurring 3D Gaussian Splatting）
基于去模糊技术实现的三维高斯泼溅效果相比传统三维高斯方法具有更高的细节捕捉能力，在图像复原效果上表现出更强的优势
背景技术
Volume-based neural fields：NeRF.
Surface-based rendering: 3D-GS.
相较于volumetric方法而言, rasterization更具优势。
摘要
一种新的基于场的方法实现了对当前先进的栅格化渲染技术——三维高斯斑点去模糊。通过构建MLP网络模型来表示各3D高斯分布协方差矩阵；该模型不仅能够生成高质量且具表现力的空间细节，并且确保了实时渲染性能。
方法
该神经网络架构处理3D高斯分布模型的数据处理过程如下：其输入变量包括视线方向向量v、位置坐标x、姿态参数r以及缩放因子s等关键参数。这些输入经过前馈计算后得到的姿态调整量Δr和缩放因子调整量Δs。在训练阶段中引入该神经网络架构以完成模型空间的变换操作，并在此基础上完成模型空间的变换操作后再进行渲染；而在推理过程中则直接基于原始数据进行渲染。如图所示
各3D高斯的输出权重由MLP确定，则可调节各3D高斯在模糊程度上的差异；从而可实现选择性模糊技术能够在图像的不同区域施加不同级别的模糊效果；单一高斯卷积不具备这种特性。
问题的假设、解决方法的原理
原作者从模糊是由于理想图像的高斯卷积之结论，提出如下假设，
Assuming that large-sized 3D Gaussian distributions result in blurring effects, while smaller-sized ones are associated with sharp images.
又根据
The minima of these scaling factors (δr, δs) are clamped at a minimum value of 1 and multiplied element-wise by r and s, respectively, to obtain the transformed attributes r′ = r · δr and s′ = s · δs.
这种设计的原因何在？它通过将MLP输出系数用于放大3D高斯协方差矩阵的方式进行处理，在这一过程中会导致图像的空间信息更加模糊。然而，在正常的推理阶段省去了这一放大步骤，则可恢复图像清晰度。让我们从一个比喻的角度来理解这一机制：类似于假性近视患者佩戴矫正眼镜的过程，在这里通常是凸透镜的应用。未配戴矫正眼镜时感知到的画面更具模糊感，在大脑中通过精细调节达到清晰识别的效果。实验证据与预期结果高度吻合，则支持了研究假设的有效性。
实现细节
为应对景深范围广、图像模糊导致的SfM输出点云稀疏问题，在完成N_{st}次训练后，在已有点云包围盒内部进行均匀采样操作；具体方法是经过N_{st}次训练后，在已有包围盒内部进行均匀采样操作；每个新增样本均采用KNN算法提取邻域信息；并基于此计算新样本的颜色信息；同时去除与最近邻距离超过阈值t_d的新样本；值得注意的是，在完成SfM处理后可进一步利用MVS生成更为密集完整的三维模型
本研究采用基于深度信息的可变阈值策略对3D高斯点云进行筛选，在远离物体表面的区域适当放宽剔除标准以保留更多细节特征
实验结果
配置
- 基于PyTorch框架的实现
- 网络架构设计采用三层隐藏层结构，并在每层网络节点上配置64个神经元并结合ReLU激活函数进行计算操作；实验中设定优化算法的学习率参数值为1e-3
- 参数初始化采用了Xavier标准差初始化方法以改善模型收敛性能
- 针对点云数据的具体设置包括：固定采样密度参数N_st设为2500个点/单位体积；稀疏采样密度参数N_p设定为1e5个点/单位体积；空间分辨率参数K取值为4；深度分辨率参数t_d设定为10毫米精度
- 数据来源方面介绍：本研究采用Deblur-NeRF数据集进行实验，在实验过程中使用Blender软件工具对目标物体进行模糊图像合成操作；同时利用COLMAP开源库对原始清晰图像和模糊图像的空间位置与朝向进行了求解计算。关于如何获取高质量点云数据的问题，请参考文档中的相关部分。
结果
评测指标：PSNR值（用于评估图像质量）、SSIM值（用于评估图像相近程度）、FPS（帧率）等参数被定义为性能评估标准
思考
图像模糊通常受到时空两个因素的影响。在时间维度上，则是因为物体在曝光时间段内相对于相机发生了运动而导致的；而在空间维度上，则源于实际相机的成像系统并非完全符合理想化的针孔模型。当镜头光圈数值较大时，则会离理想化的针孔模型越来越远；而当物距与焦距比值增大时（即物距相对于焦距的位置关系发生变化），所得到的图像也会变得更为模糊。参考文献中的方法则能够有效地减少此类因相机运动导致的模糊现象。此外，在实际应用中还常常遇到更为复杂的问题如眩光、曝光过度或不足等现象出现