论文笔记：Regressing Robust and Discriminative 3DMM With a Very Deep Neural Network(CVPR2017)

文章网站：website

文章目录

• • • • 选择动机

  • 解决什么问题

  • 方法

  • • 训练集生成方法
    • regress pooled 3DMM

  • 总结

选择动机

这篇文献确实是我从参考文献中收集到的相关资料。然而令我感到特别开心的是，在这些方法中发现与我的实验结果高度相似的结果。这进一步证明了我所进行的实验具有有效性。

解决什么问题

首先，在这样一个问题背景下：我们通常认为同一个目标人脸的重建结果应当是一致的。然而，在利用来自目标人脸的不同场景下的不同姿势的照片进行重建时，则会发现重建出的人脸之间存在显著差异性的问题

该作者采用基于单张人脸图像的深度神经网络方法，在3DMM模型中通过回归分析手段实现对形状参数及纹理细节的重建，并有效缓解了训练数据不足所带来的挑战，在重建结果的一致性方面取得了良好的效果。

方法

训练集生成方法

采用的核心策略源自论文《Automated 3D Face Reconstruction from Multiple Images using Quality Measures》。具体的操作流程如下：首先，在数据集中处理了500,000张图像，并基于landmarks信息应用了3DMM技术以获取每个样本的几何与纹理特征信息；接着，在同一object类别中整合各模型结果并计算平均值。

为了阐述这一观点，请进一步说明3DMM思想的具体应用及其在三维人脸表示中的作用机制。具体而言，请详细解释该论文将三维人脸按照形状与纹理两个维度进行表征的方法，并指出其中所涉及的关键参数及其作用范围。在此基础上，请进一步分析其中α和β这两个参数的具体意义及其在模型构建中的重要性。其中α和β均为99维向量。

在多张重建的情况下对单个图像进行拟合建模时, 我们假设该object具有多个局部特征向量γi={αi,βi},其中i∈1...N. 这里,N值由该object所属照片的数量决定. 通过池化操作整合这N个结果, 实际上是按照权重wi对这些信息进行加权求和, 从而得到一个统一的结果γ. 这种方法使得无论在何种场景下观察该object的二维图像, 都能对应一个稳定的三维解γ. 其中, 权重wi则由预处理阶段提取的关键点特征共同确定.

在此意识到，在构建一个数据集时（自行构建的数据集），其中与同一人的多张脸部照片相对应的 ground-truth 标签完全一致（也就是这些标签在描述同一人特征方面是完全一致的）。从而实现了论文所述的 discriminant特性（即判别性）。

When following the methodology outlined in Section 3.1, each subject in our dataset is paired with multiple images and a single aggregated 3DMM.

regress pooled 3DMM

输入同一个人的不同照片，输出一样的三维信息

输入同一个人的不同照片，输出一样的三维信息

该研究中采用的 backbone 模型为 ResNet-101，在对其全连接层进行优化处理后生成 198 维的 3DMM 特征向量 γ，并基于该数据集完成模型训练过程。

损失函数 ：3DMM特征向量由形状系数和纹理系数组成，它们本身就服从于多元高斯分布。直接在3DMM向量之间进行标准的欧式距离计算会发现最后得到的结果在人脸细节部分有所缺失(这一点在实验中是可以证实的)。作者设计的损失函数为对称欧式损失 ，如式子(3)所示。其中\gamma为 ground-truth，\gamma_p为网络的输出。注意到损失函数中包括了两个部分，分别来看：

• 超出估计（over-estimate）：其中估计值位于目标点远离原点的一侧。
  通过公式可以看出这一过程是基于 ground-truth 进行的。
• 低估（under-estimate）：误差主要出现在3DMM目标靠近原点的一侧。
  根据公式可知这一过程是基于网络输出 \gamma_p 进行的。

上述实际上意味着我们希望预测的参数与ground-truth之间的差距尽可能小来构建损失函数。

作者将其得到的3DMM特征向量作为核心数据应用于人脸识别任务中。通过计算不同向量间的余弦相似度值来评估它们的相似程度。

总结

就目前而言,本文的核心思路较为直观易懂。就目前而言,本文的核心思路较为直观易懂。在文章4.1节中讨论了3D形状重构精度的问题,并通过测量三维形状与深度图之间的误差来评估重构结果的质量（这些损失仅限于正脸面部区域的数据）

这篇文章在较多细节上也比较值得去深入阅读和理解，并且通过这些内容的学习读者可以进一步加深对之前所学知识的理解。