CVPR 2023: BAD-NeRF: Bundle Adjusted Deblur Neural Radiance Fields

本文提出了一种名为BAD-NeRF的方法，在神经渲染领域中专注于从模糊图像中获得高质量的逼真渲染结果。该方法结合了深度神经网络和传统计算机视觉技术，在处理运动模糊和相机姿态优化方面表现出色，并通过联合优化相机运动轨迹来提升渲染质量。与其他基于NeRF的方法不同，BAD-NeRF特别关注于显式建模运动模糊，并将运动模糊的物理图像形成模型直接纳入渲染管道。此外，该方法还能够有效处理动态场景中的相机不静止问题，并通过联合优化相机姿态来提高鲁棒性。

我们使用以下6个分类标准对本文的研究选题进行分析：

1. 问题域

• 神经渲染： 研究聚焦于通过不同视角生成新场景图像的任务。其目标是实现逼真渲染，并将场景以隐式函数形式表示在神经网络中。基于 NeRF 方法的主要应用领域在于此。
• 图像去模糊： 专注于解决图像去模糊问题。这一过程中的模糊现象可能源于相机抖动、物体运动或其他外部因素的影响。这些技术的目标是恢复图像的清晰度和细节信息，并能在一定程度上补偿原始模糊带来的失真效果。
• 3D 重建： 研究集中于利用多幅图像构建精确的三维模型。这一过程常采用结构光法（Structure from Motion, SfM）或立体视觉（Stereo Vision）等方法来实现对复杂场景的高精度还原与重建。

2. 方法

• 神经方法： 研究的核心解决方案利用深度神经网络进行操作。这些网络通过数据学习复杂的模式以实现图像渲染、去模糊以及三维几何估计等多种任务。
• 传统计算机视觉： 研究工作主要运用经典的图像处理技术结合几何算法与优化手段进行研究。具体而言, 该研究涉及结构与运动（Structure from Motion）相关算法, 并结合束调整等技术对图像进行精确定位, 同时采用基于滤波的去模糊方法来提升图像质量。

3. 图像质量关注

• 高质量输入： 研究基于假设所使用的图像具有清晰锐利的特点。这类早期作品通常涉及神经渲染领域的先驱性探索。
• 降质输入： 该研究的目标明确指向对经过降质处理的图像进行处理。从概念上讲, 该标准不仅能够解决运动模糊这一典型降质问题, 还可能涵盖其他类型的问题如噪声干扰等。

4. 场景动态

• 静态情景： 该研究专注于涉及表示与渲染包含静止物体以及在捕获期间相机视点变化的静态情景。
• 动态情景： 该研究致力于解决动态情景中运动带来的复杂性问题。这种运动可能源于场景内物体移动或相机自身于图像捕捉期间发生位移。

5. 相机姿态处理

• 假设相机姿态正确关联： 研究表明与输入图像相关联的相机位置和朝向是经过验证的。这使得后续处理更加高效。
  • 联合优化框架： 研究将其实现过程融入相机姿态细化的研究领域中，并通常采用束调整技术实现。这一方法在相机标定精度不足的情况下具有重要意义。

6. 技术

• 显式去模糊： 相关研究指出，在渲染流程中专门针对消除图像模糊设计的具体步骤或模块具有重要价值。这些功能可能以独立于渲染阶段的形式存在，并作为整体渲染流程的一部分得以实现。
  • 隐式处理： 研究结果表明，在神经网络模型中出现图像模糊现象的现象性原因可归因于其训练方式的特点，并不需要特意设计特殊的模块来解决这一问题。

本文在以上 6 个标准中的类型分别是：

1. 问题域

• 神经渲染： BAD-NeRF 专注于新视角生成与场景逼真的视觉呈现。
• 图像去模糊： BAD-NeRF 核心在于解决图像去模糊的问题, 特别是运动模糊. 它通过确保生成的视觉内容具有足够的清晰度以支持高效的后续处理。

2. 方法

• 基于神经网络的方法：BAD-NeRF 主要依赖深度神经网络作为其解决方案的核心驱动工具。该方法利用神经网络模拟场景表示、图像生成过程以及学习去模糊参数。

3. 图像质量关注

在本节中讨论的降质输入：BAD-NeRF专门针对由运动引起的模糊图像进行设计。该方法假定输入图像将呈现这种退化形式。

4. 场景动态

• 动态场景： 在动态场景中，BAD-NeRF 建模了运动引起的模糊。它能够处理包含移动物体或摄像机的场景，并且前提是图像曝光期间能够良好地建模这些运动。

5. 相机姿态处理

协同姿态优化： BAD-NeRF 主要将相机姿态的精确定位作为其重要组成部分。通过束调整方法实现推导出精确的 camera motion trajectory, 这一过程从而显著提升渲染效果。

6. 技术

显式去模糊： BAD-NeRF 系统性地实现了运动模糊问题的有效解决。该技术通过将运动模糊的物理成像模型直接嵌入到神经渲染流程中，为清晰化提供了明确的技术框架和系统性实现方案。

本文与其他参考文献 的关键差异:

专注于显式、集成去模糊

• 大多数 NeRF 方法： 许多 NeRF 变体假设高质量、清晰的输入图像。如果不解决降质问题，例如模糊，会严重影响其结果。
• BAD-NeRF： 独特地专注于在渲染过程中显式建模运动模糊。它将运动模糊的物理图像形成模型直接纳入管道。这使得它在处理模糊图像时具有独特的优势

相机姿态和场景的联合优化

• 典型的 NeRF 假设： 许多 NeRF 方法基于很多情况下都需要较为精确的相机姿态信息作为输入参数。
• BAD-NeRF： BAD-NeRF 采用束调整技术来优化和提升相机姿态的精度。这种改进不仅提升了渲染质量，还增强了其对初始的姿态估计误差的鲁棒性。

处理动态场景

• 静态场景的不足： 虽然一些基于NeRF的方法已经能够处理动态物体的问题。然而，在现实中很多情况下会出现长时间曝光导致的照片模糊或者相机本身移动所引起的模糊。
• BAD-NeRF： 它们特别针对那些相机自身不静止的情况设计，并且能够更好地适应这种变化。

范围差异

• 大量参考文献：涵盖一系列先进技术，并分别聚焦于神经渲染、三维重建和图像去模糊。
• BAD-NeRF：专注于一个相对狭窄的问题——从模糊图像生成高质量的神经渲染结果，并尤其致力于解决具有不准确相机姿态估计的真实场景。