61_LDGCNN: Learning on Point Cloud via Linking Hierarchical Features 2019 论文笔记
Linked Dynamic Graph CNN: Learning on Point Cloud via Linking Hierarchical Features
链接动态图CNN：基于链接层次特征的点云学习
代码地址：https://github.com/KuangenZhang/ldgcnn
论文地址：https://www.researchgate.net/publication/332603807_Linked_Dynamic_Graph_CNN_Learning_on_Point_Cloud_via_Linking_Hierarchical_Features
参考：https://www.cnblogs.com/wangchangshuo/p/14005641.html
关键词
深度学习，LDGCNN，点云，分类，分割
解决的问题
•DGCNN依赖于transformation network对点云进行预处理（延续了pointnet的思想）但是这个transformation network使得网络的size翻倍，参数量太大
•深层特征及其邻域可能过于相似，无法提供有价值的边缘向量。
原理
对DGCNN的网络结构进行了优化，以提高网络性能，减小网络模型尺寸。本文网络将不同动态图的层次特征联系起来，即称之为链接动态图CNN（LDGCNN）。采用K-NN和MLP共享参数，从中心点及其邻域提取局部特征。然后在不同层之间添加快捷方式，将层次特征联系起来，计算出信息量的边缘向量。LDGCNN包括两个部分：卷积层（特征提取器）和完全连接层（分类器）。在训练LDGCNN之后，冻结特征提取器并重新训练分类器，以提高网络的性能。
上图为LDGCNN网络架构。
MLP表示多层感知器，共享所有点的参数，是一个对称函数。MLP的层大小与输出的层大小相同，或由括号中的数字表示。
在边缘卷积层中，用于分割的MLP (C’, C’)有两个C’通道的层。分类网络的输入是n个3D点组成的点云，输出值是m个类的分类分数。使用边缘卷积层从聚集的特征和相邻的特征中提取局部特征，这些特征包括从输入层(layer index = 1)到当前层(layer index = L)的特征，不同层的通道数分别为C1，…, CL。然后利用快捷方式和最大池化层将特征聚合为全局特征，利用全局特征通过全连接层对点云进行分类。
分割网络是分类网络的扩展。我们将全局特征与提取的局部特征进行叠加，并利用MLPs计算每个点的分割分数。在每一层使用ReLU和Batchnorm。在全连接层中，在每个MLP层之后应用Dropout层。
保持变换不变性
不同之处在于，转换网络可以为每个点云计算一个特定的矩阵，而对于所有点云，该模型是静态的。
创新点
•将不同动态图的层次特征链接起来，通过使用当前索引从以前的特征中提取边来学习新功能，以获取边缘信息量，避免深层神经网络梯度消失问题。
•从DGCNN中删除变换网络，并证明可以使用MLP来提取变换不变特征。在训练时注意使用旋转变换的数据扩增方式即可。
•通过冻结特征提取器和重新训练分类器来提高LDGCNN的性能。
优点
与DGCNN相比，本文网络更简洁，分类精度更高。在两个经典3D数据集上达到了最先进的性能。
实验结果
数据集 ModelNet40和ShapeNet
Learning-rate=0.001；Adam优化器；输入点数、批大小和动量分别为1024、32和0.9；dropout rate=0.5；邻居数目=20；
分类网络中，邻居数目=30；
ModelNet40的分类结果
MA表示平均每类精度,OA表示总体准确度
点云分割比较。并使用Intersection over Union（IoU）来评估分割性能。
可视化：原始点云的T-SNE可视化及特征提取。
所提取的特征比原始点云更具鉴别力。
时间复杂度：不同方法在前进时间（forward time）即和总体准确度（OA）的比较。
小笔记
基于视图的深度学习方法 ：是将点云投影到不同方向的二维图像中，并应用标准的2dcnn来提取特征。虽然基于视图的方法在分类任务中可以达到较高的准确率，但将该方法应用于分割点云，将每个点都分类到一个特定的类别上，还有待考究。
容量的深度学习方法 ：应用体素化将非结构化点云转换为结构化的三维网格。然后利用三维CNN和三维CNN对三维网格进行分类和分割。点云是稀疏的，使用三维网格表示点云是浪费的。此外，考虑到体积数据的高内存和计算成本，3D网格的分辨率通常较低，这可能导致量化。因此，使用容积法处理大规模点云是有问题的。
几何深度学习方法 ：引入点网直接对点云进行分类和分割，开创了处理非结构化数据的几何方法。点云具有稀疏性、置换不变性问题和变换不变性。
稀疏性问题：直接对点进行处理，解决了稀疏性问题。
置换不变性问题：设计一个多层感知机（MLP）来独立地从每个点提取特征。由于不同点的MLP共享参数，因此可以从不同的点提取相同类型的特征。然后使用最大池层（MAXPooling）聚集所有点的信息来提取一个全局特征。共享MLP层和最大池层都是对称的，从而解决了置换不变问题。
变换不变性问题：设计一个变换网络来估计点云的仿射变换矩阵。然后利用估计的变换矩阵对点云进行偏移，解决变换不变性问题。
PointNet++是在嵌套分区上递归地应用 PointNet来提取局部特征，并从多个尺度组合学习的特征。在提取局部特征后，PointNet++实现了对几种常见三维数据集的点云分类和分割任务。然而，PointNet++仍然单独处理局部点集中的每个点，并且不提取点与其相邻点之间的距离和边向量等关系。
DGCNN ：设计一个边缘卷积算子，从中心点（pc）提取特征，并从其相邻点（pn−）提取边缘向量。此外，他们在每个边缘卷积层之前使用KNN算法。因此，它们不仅在输入的欧几里得空间R中搜索邻域，而且在特征空间中对相似的特征进行聚类。得益于动态特征的提取，他们的DGCNN在多个点云识别任务上取得了最先进的结果。
缺点 ：DGCNN首先依靠变换网络对点云进行偏移，但是这种变换网络使网络规模扩大了一倍。此外，深层特征及其邻域可能过于相似，无法提供有价值的边缘向量。此外，DGCNN中有很多可训练参数，在训练整个网络时很难找到最佳的参数。