【论文阅读笔记】《PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation》

《PointNet: A deep learning framework for processing point sets, aimed at performing 3D classification tasks and segmentation》

Qi C R, Su H, Mo K, et al. PointNet: A deep learning-based method for three-dimensional classification and segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 652-660.

网络架构：

通过point-wise max pooling对空间分布进行编码，在关注point cloud的空间特性时发现该方法具有良好的稳定性，在网络输入发生变化时不会影响整体性能

该网络能够将任意数量的点云转换为一个统一维度的特征向量；其中每个维度对应于一个特定的特征

这个网络存在两条性质（推论）：

该网络通过数学推理过程证明具有任意逼近性，并模拟出一个对称性的函数；其输入参数为无序点云序列时仍能保持一致的输出结果。

在maxout之前的每一层多层感知机均被视作拟合函数h(𝑥)，经过maxout作用后的三层多层感知机被视为另一个拟合函数γx，在最糟糕的情况下，该网络能够将点云映射到一个体素化的表示形式中。通常情况下该网络具备处理复杂点云的能力。

表明位于该区间且符合特定条件的所有点集合均产生一致的结果；该区间的下界所对应的关键点集合𝐶𝑠中的元素数量不超过最终生成的global feature向量的空间维度。其中𝐶𝑠为定义域的关键区域。

此网络的本质是对点云的空间分布进行了编码，

其中T-Net的网络结构为[MLP,MaxPool,FC,FC]，最终回归一个33或6464的矩阵。

对网络的Point function visualization。

通过可视化技术呈现网络中的Critical Points及Upper Bound shape特征。该网络并非直接将点云转换为体积分割表示；在物体边界区域中，Critical Point处的空间密度相对较高。

该网络针对点云数据中的缺失率和异常率以及扰动噪声的标准差具有鲁棒性的性能评估。

算法复杂度分析中涉及的参数个数；其中FLOPs表示每样本所需的浮点运算次数；即每个样本所需进行的浮点运算次数。

Point Net 具有多种功能，并包含以下内容：point cloud classification, point cloud semantic segmentation, model retrieval based on point cloud data, shape correspondence, object detection.

网络结构：

该分类网络架构包含多个关键组件：初始的T-网络单元采用[64,64]参数配置；随后再增加一层T-网络单元并提升到[64,128,1024]；最大池化层用于特征提取；全连接层配置包括512个神经元，并带有70%的Dropout率；随后是256个神经元和另一个70%的Dropout率；最后输出维度为40。

Net for part segmentation :

将分类loss引入总loss，共同训练，

Loss = classification_loss + part_segmentation_loss + mat_diff_loss。

但是weight=1，即不将正确预测object的label 作为训练目标。

Net for semantic segmentation：