SA-ConvONet: Sign-Agnostic Optimization of Convolutional Occupancy Networks论文笔记

Motivation

在忽略局域网格之间的几何关联的前提下

Contribution

采用基于卷积网络的符号不明确优化方法（sign-agnostic optimization），能够完成隐式曲面重建过程，并在处理大规模复杂场景的同时具备高度可扩展性和一致性表现。该方法不仅适应多种形状特征的一般性要求，在各种原始扫描数据上都能展现出良好的适用性。

Introduction

许多方法从不同思路对隐式场表面重建方法进行了优化。例如，在扩展至大规模室内场景方面，一些方法专设学习了局部区域 的隐式场特性来表征单个表面几何特征，并非直接从单一潜在向量提取全局信息；而将整体形状几何表示为这些局部特性的组合。为了增强模型对未知形状的适应性，在实际应用中并非固定使用预先训练好的网络参数；相反，在测试阶段进一步微调网络参数以寻求更适合当前输入的数据解码路径。近期的研究则通过独立优化每个局部隐式场达到了上述两个重建目标的同时满足；然而由于缺乏对各局部间几何关系的关注，在处理相互叠加区域时容易出现符号翻转问题进而影响结果鲁棒性；而无符号约束的学习策略虽然解决了这一局限性但仍面临如何将此技术融入到多尺度建模框架这一关键问题尚未得到彻底解决

本研究提出了一种隐式场表面重建方法：基于卷积占据网络的sign-agnostic优化框架，在同一个系统中实现了三个关键目标的整合。我们设计了一种简洁而高效的方案：通过无符号损失函数优化占用场的学习过程，在测试阶段初始化使用符号场引导模型优化。该方法的核心在于两个关键特性：第一，在真实符号隐式场的数据集上经过预训练后，在测试阶段初始化使用符号场引导模型优化；第二是3D U-Net能够同时聚合全局与局部形状特征，并在此基础上构建合理的几何约束机制以保证隐式场的整体一致性。具体而言，在真实场景数据集上经过预训练后，在测试阶段初始化使用符号场引导模型优化；第二是3D U-Net能够同时聚合全局与局部形状特征，并在此基础上构建合理的几何约束机制以保证隐式场的整体一致性

Method

给定观测点集

，我们的目标是我们的方法的目标是重建一个曲面

，它与实际曲面

尽可能相似。我们选择通过预测神经隐式场

来近似地表示

的有符号隐式场

该方法分为两个主要部分：基于卷积的空间场预训练 和所设计的隐式曲面优化算法。第一部分致力于学习满足全局一致性约束条件下的局部形状先验特征；第二部分则为网络提供了一个相对合理且具有效应的初始化域。通过采用无符号交叉熵损失函数对整个网络进行优化处理，在测试时间上实现了隐式曲面的有效重建。

的精度。

卷积占用场预训练

卷积特征V通过PointNet和3D U-Net的级联网络从输入点云P中提取

占用场预测

根据所获得的体积特征 V，在三维空间中进行随机采样的点 q 的概率可能性 O(q) 被估计为落在某个集合中的位置。

。我们首先进行三线性插值，根据q的坐标从V中查询特征向量

。然后将

和q输入到作为多层感知器(MLP)的轻量级网络实现的占用解码器g

符号不可知隐式曲面优化

无符号交叉熵损失（unsigned cross-entropy loss）在未采用表面法线的情况下满足了占用域与无符号输入之间的一致性约束

是从真实表面

上采出的一个点集，

是从非表面区采出的一个点集。因为

未知。因此我们考虑使用观察到的表面点云

作为其一个近似的表示形式，在随后的操作中我们将这些3D空间中的随机采样点视为非表面区域。为了更加具体地说明这一过程，请看下面的内容：迫使观测到的真实表面P与其所处环境中的内外场中0.5等值面相互靠近；在此过程中我们设定空间内各点被占用的概率趋于0或趋于1

在进行无符号优化的基础上应用隐式场学习后，通过采用多分辨率等值面提取(Multi-resolution IsoSurface Extraction)和marching cubes算法来实现对表面网格的重建。

Experiments

不同方法的工作条件对比

在ShapeNet-chair进行表面重建实验得到的可视化数值对比结果

基于该synthetic indoor scene dataset实施表面重建实验所得出的可视化数值对比结果

基于真实场景数据集ScanNet的数据集上执行表面重建实验的过程呈现了可视化数值对比结果

(a)(b)(c)是在ScanNet上测试得到的，(d)是在Matterport3D上的测试结果。