论文笔记：Automated 3D Face Reconstruction from Multiple Images using Quality Measures(CVPR2016)
文章目录
动机分析：选择不同的超参数组合会影响模型的性能表现。
针对问题：需要找到一种高效的方法来优化重建效果。
方案设计：本文提出了一种基于深度学习的图像修复方法。
重建效果评估：主要从图像质量和视觉感知两个维度进行量化分析。
图像质量评估：
马氏距离（Mahalanobis Distance）：用于衡量样本之间的差异程度。
欧氏距离（Euclidean Distance）：计算两点之间的直线距离。
正常距离（Normal Distance）：通过标准化处理后的相似性度量指标。
* 结果
* 总结选择动机
这篇论文在多个顶级会议的参考文献中都有涉及，在文章作者中有我非常熟悉的学者。最初选择这篇文章第一是为了探索他在解决multi-image 人脸三维重建问题上的方法第二是希望深入研究其中的设计思路。
解决什么问题
基于二维图像恢复三维面部结构的过程中会遇到诸多挑战性问题 由于姿势姿态 光照条件 部分遮挡以及面部表情等因素的存在 使得重建过程难度有所提升 该论文的主要研究方向是基于多幅二维人脸图像推导出三维面部几何信息 此外 本研究着重探讨如何量化评估不同重建算法在细节保留和噪声抑制方面的性能表现
方法
该方案较为直观易懂：对于每张人脸图像实施一次三维重建，在这些结果中筛选出若干具有较高可信度的样本，并按区域划分并依据权重综合处理以完成该人物的三维重建模型。
在三维人脸表征方面的主要研究集中在基于3DMM的思想框架下展开。具体而言，在表型特征提取过程中，我们采用了以下参数设置：形状维度选取了m=100维的空间特征向量来描述人体面部形态信息；纹理维度则采用了p=4位点特征向量来刻画面部细节信息；值得注意的是，在这一过程中特别强调了嘴巴区域的变化对整体表情表现的影响。
此外，在重建结果与输入图像之间的损失计算同样至关重要。正如式（2）所展示的那样，在重建结果与输入图像之间直接计算距离这一方法具有一定的局限性：这容易导致过拟合现象发生。因此，在后续步骤中加入正则项（如图3所示），具体是在形状参数、纹理特征、表情特征以及相机配置这些关键参数上增加了Mahalanobis距离约束。需要注意的是，在上述各参数中均采用分母\sigma作为其标准差作为基准值进行归一化处理。
重建质量评估
这部分才是这篇论文的核心内容。在这一部分中,除了基于图像的距离计算之外,在所有其他计算过程中都不考虑表情因素。
图像距离
参考式子（2）。这种损失是通过在输入图像和重建结果之间施加惩罚来计算的。该损失无法有效识别和捕获面部的一些细微特征。
Mahalanobis Distance
该损失函数衡量的是当前结果与平均形状之间的差异程度。具体而言，在这一阶段仅考虑形状的原因是由于纹理和表情在重建过程中与平均情况相比表现出较大的偏差。
Euclidean Distance
仍然专注于形状之间的距离计算。值得注意的是，在此过程中我们假设所有情况均为无表情状态（对于重建本身带有表情的情况如何处理？）
Normal Distance
该过程涉及对平均人脸形态与重建图像之间的差异评估；具体而言，在这四个区域中分别应用 normal 区域损失函数，并将各区域的结果汇总
由于面部特征点（即鼻梁、嘴角和外眼角）之间的法线分布存在较大差异，在式（7）的基础上引入一个权重映射。
结果
在实验中，作者系统地进行多组对比试验并证明基于法向量构建相应的损失函数模型能够使得重建出的人脸特征更加具有说服力。
总结
尽管本文最终采用了法向量损失计算这一方法，在实验阶段仍需根据实际情况选择合适的方法。但同时，本文为我们提供了损失函数设计方面的有益探索。这在实际应用中可以通过对比不同方案来验证其有效性。