翻译:Keep it SMPL: Automatic Estimation of 3DHuman Pose and Shape from a Single Image

摘要

我们阐述了一种从单一非约束图像中自动推断人体三维姿态与体形特征的方法。我们通过构建一个完整的三维网格模型来捕捉二维连接图所蕴含的身体形态信息。鉴于人体解剖学特征以及成像条件下的复杂性（如人体结构复杂、关节众多以及成像条件下的遮挡等问题），这一问题具有显著的技术挑战性。为了应对这一挑战，在推断三维姿态时我们采用了以下策略：首先利用基于深度卷积神经网络（DCNN）的DeepCut方法（自底向上）精确预测2D人体关节位置；随后借助最近发布的统计体型模型（SMPL）进行top-down拟合；通过最小化目标函数来惩罚投影三维模型关节与检测到的二维关节之间的误差；由于SMPL模型能够有效捕捉人群中的共性形态特征，在数据规模有限的情况下仍能实现良好的拟合效果；此外我们还引入了三维重建机制以避免相互映射所带来的潜在问题；最后我们在EEDS Sports、HumanEva以及Human3.6M等大规模数据集上进行了系统评估，并验证了该方法较现有最先进的技术具有更高的精度表现

介绍

基于单一图像推断三维人体姿态一直是长期挑战之一

图1展示了结果示例。通过我们的方法，在利兹运动姿势数据集[22]的基础上对两幅图像进行了3D姿势和形状估计，并展示了原始图像（左）、拟合模型（中）以及不同视点渲染生成的3D模型（右）。已有大量研究致力于从二维关节信息推断三维姿态。与现有方法不同，本研究采用了一个经过大规模三维扫描训练的高质量人体形态数据库。该数据库包含来自数千份真实人体扫描的数据样本，并因此可以捕捉到整个人类体型变化的丰富统计信息，并揭示了人类姿势变形的基本规律。其中本研究采用的是SMPL（ skeletal model）[30]。关键发现在于这种数据库能够仅基于有限的数据就准确重建人类姿态。其中该数据库能够捕获到如此多的人体形状信息

为了实现目标函数的优化，并直接对姿势与形状进行优化处理

除了提取形状统计信息之外, 使用生成的3D模型还具备另一个优势,即利用其进行交叉推理.在这一领域中早期的研究主要基于二维关节与三维棒状图形之间的关联分析.借助此类型模型能够轻易识别那些不可能完成的动作.在从二维到三维转换的过程中,这一解决方案具有广泛的适用性.由于深度信息的缺失导致对三维结构的还原存在不确定性.

然而，在计算具有约束条件、非凸且相互作用复杂的物体（如多维数据集）之间的相互作用时会面临高昂的成本。与现有研究[14,15]相比，在可微分地描述体形与姿态之间的关系方面我们开发出了一个全新的方法论——即提出了基于该三维体形的一系列近似形状模型称为"胶囊"。核心在于这些'胶囊'在尺寸上是从模型形状参数中通过线性回归方法推导出的一种新表达形式。这种表示方法显著提高了计算效率，并且这一术语不仅简化了后续分析流程还提升了整体系统的可靠性

SMPL展现出显著的性别差异，并能够明确地区分不同性别的身体形态特征。为实现方法的完全自动化目标,我们开发出一种不依赖性别的通用人体建模框架.在缺乏关于人体性别的先验知识的情况下,将该通用框架与目标图像进行配准即可获得相应的三维重建结果.如果已知人体的性別信息,则可利用专门针对某一性別设计的人体建模算法以提升重建精度.

在处理姿势歧义时至关重要的是拥有一个有效的姿势先验。目前多数先进的方法均是从CMU dataset [3]中提取稀疏、过饱和以及数据集专用的学习策略。我们利用MoSh[29]模型基于已有的CMU motion capture marker dataset [3]中的SMPL模型训练了一个通用化的姿态编码器。该编码器以姿态作为基础，并将姿态表示为身体各组成部分之间的相对旋转状态。通过该过程我们成功地构建了一个适用于多种模态的姿态表示系统。

我们对比了最近发表在文献[4, 39, 58]中的相关研究方法，并以相同的二维骨骼结构作为输入参数。通过定性分析的方法，在具有挑战性的Leeds运动姿态数据集（LSP）[22]上进行了图像稳健性的展示（如图1所示）。为了量化评估效果，在HumanEva-I [41]和Human3.6M [18]两个基准数据集上分别进行了定量对比实验，并发现我们的方法在准确度方面相较于以往的方法更具优势

总体而言，在本研究中我们主要贡献了以下内容：首先提出了一种首个基于二维骨骼推导出三维人体体态及姿态的新方法；其次设计了一种能够实现形状与姿势微分交互的新机制；再次提出了一种新的目标函数用于将三维人体模型与二维骨骼对应匹配；最后出于研究目的我们开源了该方法相关的源码同时附带了完整的二维骨骼数据以及本论文中所有示例的人体三维模型。