论文阅读——3D Shape Reconstruction from Images in the Frequency Domain

从频域中的图像进行 3D 形状重建

来源：CVPR 2019.6

作者：Weichao Shen, Yunde Jia, and Yuwei Wu （北京理工大学计算机科学学院北京智能信息技术实验室）

⚡️ 初步阅读笔记

📑作者为什么研究这个课题？

​ 深度神经网络虽然在3D重建方面有良好的进展和结果，但是在空间领域内使用高效的数据结构，计算成本会立方增长。

📑文献解决的问题？

• We propose a Fourier-based method for 3D shape reconstruction to reconstruct the 3D shape in the 2D space by predicting slices in the frequency domain, which can significantly reduce the computational cost.
• We introduce the thickness map to bridge the domain gap between the image in the spatial domain and the slice in the frequency domain. A deep neural network is built to generate the thickness map from the input images. Our network separately learns the global and local information by predicting the silhouette and edge of the thickness map, which can improve the reconstruction accuracy.

提出了一种基于傅立叶的3D形状重构方法，通过在频域中预测切片来重构2D空间中的3D形状，这可以显着降低计算成本。

介绍了厚度图 ，以弥合空间域中的图像和频域中的切片之间的域间隙。 建立了一个深度神经网络以从输入图像生成厚度图。 我们的网络通过预测厚度图的轮廓和边缘来分别学习全局信息和局部信息，从而可以提高重建精度。

作者的方法其实就是想降低在高分辨率三维重建中的计算成本，所以提出了用二维卷积神经网络在二维空间中重构三维形状的方法。

📑实验的数据和采集？

ShapNet数据集

📑实验用到的理论或模型？

图3.从频域中的图像进行3D重建的流程。 以图像为输入，我们使用深度神经网络预测了不同但特定的投影视图下的一系列厚度图。 每个厚度图使用傅立叶变换生成2D傅立叶切片。 将所有2D切片插入3D傅立叶空间中，以构成3D对象的傅立叶变换。 使用3D逆傅立叶变换可重建3D形状。

图4：厚度图预测网络的体系结构。 给定图像，我们可以预测厚度图的一系列轮廓和边缘。 将所有这些轮廓和边缘组合在一起以预测厚度图。

该网络使我们能够与输入图像分开预测厚度图的精细细节（边缘）和整体形状（轮廓），从而获得更准确的重建结果。

R(P_{\omega_j}^k) 和I(P_{\omega_j}^k)指通过余弦或正弦函数加权的3D形状o的Radon变换。

3D频域空间内的重建：根据定义，频率域中的3D形状是其空间表示的傅里叶变换。也就是说3D形状是可以通过一系列紧凑的切片重建，参照图像在频率空间中的属性，使用低频星系重建的图像保持全局新装，高频信息添加局部细节，扩展到3维情况，就可以研从低频到高频的三个轴方向选择一定数量的切片，然后3D形状就可以通过反傅立叶变换重建。

[^Fourier 切片定理]: 如果我们在不同的角度下获得足够多的投影数据，并对这些投影数据做傅里叶变换，变换后的数据能够覆盖整个傅里叶空间，一旦频域函数F(u , v)取得所有值之后将其做一次傅里叶反变换，就能得到重建图像g(x, y)

Fourier 切片定理表示，以一定角度通过频率空间中 3D 形状原点的切片等于2D 投影的 Fourier 变换，即 3D 形状在同一角度的 Radon 变换α。

📑得出的结果？

📑实验评价指标

1、计算速度


2、重建精度

IoU越高表示重建精度越高