[论文阅读笔记] DISN: Deep Implicit Surface Network forHigh-quality Single-view 3D Reconstruction
摘要盲点补充
全局特性和局部特性均是从图像的不同层面提取的关键属性。其中局部特性是从图像局部区域中抽取的特征,涵盖边界线、拐角点以及曲线等多种形态,常见的局部特性包括基于角点检测的技术以及基于区域分析的方法两种类型。
SDF（signed distance fields）:有向距离场
有向距离场之所以具有实用价值在于,当缩放操作被施加时,其能够有效避免因传统分辨率较低导致边沿模糊的问题。具体而言,通过与传统灰度图相似的空间插值技术实现高质量的比例缩放效果,从而显著提升了视觉效果的同时保证了细节完整性
iso-surface（等值面）：在空间中定义为函数F(x, y, z)取同一特定常数值Ft的所有点集合所形成的表面称为等值面S = {(x, y, z) | F(x,y,z)=Ft}。
Introduction
3D形状表示：
体素（voxel）与点云（point cloud）——便于神经网络进行特征提取（编码），受限于较低的空间分辨率；
网格（mesh）——呈现表面细节的显示表示，在保持固定的拓扑结构的同时实现几何信息的精确描述
point和mesh表示方法仅限于采用CD和EMD来衡量损失值，并且这些损失值仅能用于评估点与网格之间的近似距离
本文引入了一种隐式的三维表面表示方法——有向距离场（SDF），该方法能够有效保留物体的局部几何特性，并在此基础上提出了一个DISN网络模型用于基于单视图预测物体的有向距离场（SDF）。与现有隐式表面表示方法相比，在生成二元存在标记的同时仅能捕捉全局几何特征这一不足方面有所改进：传统的二进制占空表示虽然能够简单标记物体是否存在某一点周围的空间区域中但无法有效恢复细节信息而DISN网络则能够在单视图条件下通过学习二维像素空间中的纹理信息与三维空间中的几何关系从而实现对物体细节结构的精细建模
在这一过程中系统的核心工作流程主要包含以下几个关键环节：第一部分是系统初始化阶段其中最为核心的是局部信息提取模块其主要功能是推导观察者位置参数并基于此进行后续的操作这一模块的主要工作流程包括以下几个关键步骤第一阶段是将输入图像数据转换为适合后续处理的形式第二阶段是根据推导出的观察者位置参数对各个采样点进行投影操作以获取对应的二维像素坐标位置第三阶段则是根据获取到的二维像素坐标位置结合预训练好的二维纹理编码模型对目标物体在各个采样点处的位置关系进行建模从而完成对物体表面细节结构的整体表征
Method
目的：基于输入的图像数据，我们的目标是恢复一个3D模型。
过程：
- 相机的姿态估计
- 将三维查询点投影至对应的图像平面，并提取多层次特征
3.DISON通过融合多层次的局部图象特性和全局图象特性来解码给定的空间位置为对应的SDF值。
DISN
DISN包含两个主要部分：第一部分是相机姿态估计；第二部分是SDF预测。
相机姿态估计的过程是将物体从其在世界坐标系中的位置映射到相应的图像平面位置，并确定用于描述该位置的相机参数。
其中变量p 通过相机参数估计其对应的图像，并将p映射至对应的图像中。接着，在计算过程中首先提取局部位置特征，并计算得到全局特性和局部位置特征后作为输入传递给DISN模型
相机姿态估计
数据集采用ShapeNet Core作为基础；为了保证实验的一致性，在所有实验中固定一组相机内参数；针对姿态估计问题采用了6D旋转表示法，并结合回归分析方法实现对姿态的预测；在模型优化过程中定义了基于均方误差的目标函数；具体而言，在计算目标函数时采用两组点云之间的均方误差作为衡量标准
PCW代表基于世界坐标的点云数据，在相机感知系统中使用PG代表基于相机坐标系的地面真实点云数据时，则需考虑R对应六自由度旋转和平移变换t的影响。在三维空间变换模型中采用L2范数作为损失函数的计算方法
SDF预测
我们的方案是通过多层感知器将给定点的位置转换为高维特征空间。接着,该高维特征分别与全局和局部图像特征进行关联,并用于回归SDF值
局部特征提取
基于估计相机姿态参数, 将三维空间中的点P投影至二维图像中得到对应位置Q. 在各个通道对应的二维直方图中寻找与Q匹配的位置, 并将这些位置连接起来以构建局部特 征描述子. 考虑到后续层输出的空间分辨率低于原始输入分辨率, 我们采用双线性插值算法将其放大至 原始分辨率, 并从放大后的二维直方图中提取目标位置Q处的空间直方图统计信息作为描述子的一部分. SDF预测模块接收两个输入端口: 一个是全局空间信息, 另一个是各维度空间上的局部结构信息, 以及当前采样点处的空间坐标信息. 模块分别对全局空间信息与各采样点处的空间坐标信息进行配准计算, 最终输出各采样点处对应的SDF值. 损失函数采用L1范数进行度量评估
SDFI表示groundtruth
f表示预测函数
I为输入图片
m1和m2是不同权重
表面重建
为了生成网格表面, 我们首先建立了一个密集的三维网格, 并对其中每一个格点进行了距离函数场(SDF)值的估计. 在完成密集网格中所有格点的距离函数场值得估算之后, 我们就可以利用Marching Cubes算法生成与等位面S₀对应的三维模型.
实验细节
建立一个二维数据库系统，在每个网格模型的基础上设计了36组细微变化的小样本视图以及36组较大变化的大样本视图；该系统能够实现物体在三维空间中的自由变换位置；整个数据集共计包含5个自由度参数。
使用VGG-16网络作为图像编码模块
改进
只能处理背景清晰的对象，因为它是用渲染图像训练的。