CVPR 2023 精选论文学习笔记：DisCoScene: Spatially Disentangled Generative Radiance Fields for Controllable 3D
该论文提出了一种基于神经辐射场（NeRF）的新架构DisCoScene，在3D场景生成与理解中表现出色。通过将场景分解为空间上分离的组件，并分别由独立的NeRF表示这些组件属性（如地形、建筑和植被），DisCoScene能够实现对各个组件的精确控制，并生成具有高度可定制性的3D场景。该方法特别适用于从多张图像生成新图像或重建3D模型的任务，并在多个应用场景中展现了广泛的应用前景。
1. 场景表示类型
场景表示有四种主要类型：
基于连续函数的神经辐射场（NeRF）通过将空间中的点映射至其对应的颜色与透明度来实现对复杂几何与照明场景的建模。这种参数化模型同样适用于表现多目标环境及多样化的光照情况。
隐式曲面基于水平集函数来判断点是否位于曲面内部或外部，并适合于表示光滑表面的场景。这种显式的几何描述方法同样能够有效地捕捉细节特征并提供良好的渲染效果。
使用层次化数据结构来描述场景中的对象及其相互关系的场景图同样适用于表现多对象与复杂关联的情况。这种层级化的表征方式不仅能够有效减少存储开销还能提高后续处理效率并支持动态交互操作需求等特性使其成为现代图形学领域的主流选择之一
体素表示通过构建三维网格单元来呈现整个空间区域并适合于被自然划分为网格的情形这一显式的几何描述方法不仅能够有效减少存储开销还能提高后续处理效率并且支持动态交互操作需求等特性使其成为现代图形学领域的主流选择之一
2. 要解决的任务
3D 场景生成和理解中有四种主要任务：
- 场景合成：基于现有图像或自生成新场景图像的任务。该任务具有显著挑战性，要求模型具备解析场景构成及其结构的能力，并能产出既逼真又富有创造力的图像。
- 3D 重建：从图像中重建场景 3D 模型的一项关键性任务。该任务在多个领域均具重要性。
- 图像编辑：通过添加、删除或修改对象/特征来优化现有图像的一项实用性很强的任务。该任务广泛应用于多个领域。
- 场景理解：解析场景构成及其结构的一项基础研究任务。该研究方向在自动驾驶等应用领域发挥着重要作用。
3. 输入数据类型
论文使用的数据是指其接收的输入类型。在3D 场景生成和理解中，包括四种主要的数据类型种类。
- 单张图像：论文中使用单张图像作为输入生成新图像或重建三维模型。这项极具挑战性的任务要求模型从单一视图中推断出丰富的信息。
- 多张图像：论文中使用多张图像作为输入生成新图像或重建三维模型。这是一个更具普遍性且通常更为准确的任务。
- 未配对图像：论文中使用未配对的多幅图像作为输入在不同领域间进行转换（如马与斑马的视觉转换）。这项任务极具挑战性，因为需要模型在无监督条件下学习两个领域间的映射关系。
- 配对图像：论文中使用配对的多幅图象作为输入建立两个领域间的映射关系（如猫与狗的视觉转换）。这是一个比未配对图象转换更为常见的且通常更为准确的任务。
4. 应用领域
论文的主要用途在于其在特定领域或行业的具体应用。基于3D场景生成与理解的知识体系，在此基础上可实现以下三种主要应用：
在图像处理领域中，图形相关的学术论文通常聚焦于生成高质量图像的技术与方法；在计算机视觉领域中，则致力于解决对象识别、图像分割和运动跟踪等关键问题；而在智能机器人技术研究中，则着重探索自主导航与操作自动化等前沿课题
根据上述分类标准，论文‘DisCoScene: 具有空间分立特性的生成光度场用于可控制的三维感知场景合成’具有以下特点：
1. 场景表示类型
本文采用神经辐射场 (NeRF) 作为场景描述工具。其作为连续函数的特性使得其特别适合处理具有复杂几何特征的场景。该方法能够将空间中的每个点与特定的颜色和透明度值相关联，并通过这种关联关系实现对场景细节的精细刻画。这种基于连续函数的方法不仅能够有效处理复杂的几何结构，还能够在光照条件变化时保持良好的适应性。
- 它们能够精准地描述具有复杂几何形状和光照条件的真实环境。
- 这些技术能够生成高质量、逼真的图像效果。
- 它们具备支持从头到尾连续训练的能力。
NeRF 也有一些缺点：
- 它们可以是计算密集型的。
- 它们可以难以训练。
2. 要解决任务
本文的核心目标是实现图像场景的合成。该过程可从现有图像出发或基于零开始构建新视场。作为一个极具挑战性的任务，在其中的关键在于模型需准确解析空间布局并产出视觉效果兼具真实感与艺术性的结果。针对此挑战，DisCoScene采用了模块化设计方法。其显著优势在于对各模块参数可实现精确调控。该系统能够灵活组合多样化的地形要素与建筑形态，并融入丰富的植被配置选项。此外，在光照条件变化时仍能保持稳定输出。
3. 输入数据类型
该系统采用多幅图像作为输入数据进行处理和分析。这些多幅图像的数据经过预处理后被整合到深度学习模型中进行训练和推理操作。与基于单一图片的重建任务相比，在实际应用中这类任务更为常见且具有更高的准确性。通过整合多个视角的信息，该系统能够生成更加逼真的三维效果。
4. 应用范围
论文的应用是图形。DisCoScene 可以用于各种图形应用，例如：
- 打造高度还原的游戏与电影场景,打造沉浸式数字娱乐生态空间.
- 构建虚拟现实与增强现实体验的沉浸式数字环境.
- 研发与生产创新性解决方案,研发智能设备与系统.
DisCoScene 还具有潜在的应用于其他领域，例如：
- 计算机视觉：用于场景理解和对象检测。
- 机器人：用于自主导航和操作。
在开发一种创新的NeRF架构的基础上，本系统实现了对场景组成部分的独立控制能力。该系统将复杂场景分解为空间分离的关键组件，并通过独立的NeRF网络对每个关键组件进行表征。这种设计使得系统能够合成多种多样的地形、建筑群、植被配置以及光照条件下的场景，并在多个场景合成任务中展现出显著的效果，具有广泛的应用前景。