SpareNet:Style-based Point Generator with Adversarial Rendering for Point Cloud Completion(CVPR2021)

SpareNet 是一种基于对抗渲染样式点生成器的点云补全方法，在论文《基于对抗渲染样式点生成器的点云补全》中提出。该方法通过使用Channel-Attentive EdgeConv（CAE）算法提取点特征，并结合多视图可微分点渲染器进行端到端训练。网络架构包括编码器 E 和生成器 G 用于粗粒度补全和精细调整；Adversarial Point Rendering 提供图像级监督以提升几何细节捕捉能力；Refiner 和 Discriminator 则用于进一步优化和判别结果质量。实验表明该方法在 ShapeNet 数据集上表现优异。

SpareNet
代码块链接：https://github.com/microsoft/SpareNet

（本文只是个人学习记录的笔记，仅做参考）

基于对抗渲染样式点生成器的点云补全

本研究致力于开发一种新型的样式化点生成器及其结合对抗渲染(SpareNet)的自适应点云补全网络框架。首先,我们创新性地构建了一个能够充分挖掘点对象特征信息的Channel-Attentive EdgeConv算法,该算法通过多尺度特征融合机制实现了对局部与全局特征的有效提取和表示学习。在此基础上,我们参考了StyleGAN的设计理念,将形状特征求解过程与规格化层参数优化过程有机统一,成功实现了对形状信息的高度抽象与表征能力显著提升。其次,针对现有方法中存在的重建质量评估不足的问题,我们提出了一种可区分化的自适应渲染器方案:将完成采样的关键点投影至深度图中并借助对抗训练机制提升不同视角下的补全效果评估能力

SpareNet网络架构中采用编码器E将部分采样点映射至特定形状G，并通过基于样式的生成模块G完成初步修复任务得到初步修复结果Yc。随后系统采用优化模块R进行逐步优化处理最终输出高质量修复图像Y。其中点位重建过程主要依赖于对抗机制实现细节渲染效果以提升整体图像质量。

Channel-Attentive EdgeConv（CAE）：

开发了一种基于样式的设计方法用于生成点云数据。给定输入的点云数据包含M个采样点，在特征空间中具有C维表示。针对每个采样点而言，在该C维空间（此处取值为8）内通过计算欧几里得距离确定其K近邻区域的位置关系，并将其数学表达式定义如下：

在所处理的点云数据中存在具有k维特性的每个边界之间建立映射关系。该多层感知机模型F用于自于每个边上特征的信息提取过程。

该方法旨在通过KNN增加全局特征的影响程度。具体而言，我们通过计算所有边对应的平均特征，并将其作为输入传递给第二个MLP网络来实现这一目标。经过这一处理后，我们能够得到影响因子这一关键指标。

Relu函数采用Sigmoid激活函数，在网络训练后期阶段应用效果显著。对于每个节点而言，在完成最大值池化操作后与ReLU激活相结合的过程中生成新的节点嵌入表示。值得注意的是，在某些情况下可能会存在未被映射到目标图中的顶点（即潜在节点），为此我们设计了一种自适应映射机制F₃来处理这一问题。

为了更好地实现多维度信息的整合与融合，在点云合成领域开展深入研究的基础上

经过小批量线性变换后的激活输出中，B代表批次大小，M表示点的数量，并且C为每个点特征向量的维度。

表示均值和标准差，为了生成形状编码，将hin 归一化后使用g反正化

基于线性层演化的两个调制参数是用于改变目标g的重要因素。对hout应用CAE后得到输出Pout.

实验中采用K个曲面元素作为生成器G的基础结构

点渲染（point rendering）是一种能够区分不同点的存在技术，在此框架下可以从3D point clouds生成对应的2D depth maps并完成end-to-end渲染过程。该渲染器突破了传统方法仅能在图像域进行监督训练的限制，在点域与图像域均能提供有效的训练可能性。通过对抗性训练提升点云质量与discriminator D的能力，并使后者专注于生成反映相机视角v处几何特征的2D depth maps。基于现有成功的研究成果（如基于图像的空间卷积网络），我们发现基于图像的空间卷积discriminator相较于基于点的方法在捕捉几何细节方面具有局限性。因此我们提出了一种结合微分化point rendering架构与空间卷积模块的新方法，在保持原有性能优势的同时显著提升了对复杂场景的理解能力。
P为3D point cloud集合，v表示相机视角参数。point renderer的目标是根据视角v生成能够反映该视角处点云几何特性的2D depth map。

作为输入，通过投影变化T投影后取投影坐标

和深度

在随后的过程中采用栅格化方法，在此基础上结合深度信息进行采样操作后生成渲染图像。为了使整个过程满足可微性要求，在每一个采样阶段我们假设每个采样点并非像传统硬编码像素那样固定，在而是基于一个概率密度函数来进行分布采样。这种设计使得整个系统能够在连续空间中实现平滑变化的同时保证离散采样的准确性。栅格化的数学表达式如下所示：

一个点密度函数——高斯核：

Discriminator模块采用了对抗生成网络策略。
在整个训练过程中，
系统分别对输入数据X、真实目标Ygt
以及第一个Refiner输出的结果进行了渲染。
我们的判别器D则采用了对抗策略：
将真实样本定义为来自原始数据X的真实分布；
而生成样本则由Refiner模块自动生成。

和

在信道维数上的连接;假样本是

和

的连接。这使得

对抗更新基于输入X的条件进行。D经过光谱归一化和LeakyReLU激活后形成一个二维卷积层序列。
训练损失包括监督粗粒度结果与最终结果的损失：

保真损失：

深度图损失和特征匹配损失：

Adv为对抗损失，exp为膨胀损失

在ShapeNet上的实验结果：