DensePose: Dense Human Pose Estimation In The Wild

DensePose: Dense Human Pose Estimation In The Wild

Rıza Alp G¨uler, Natalia Neverova, Natalia Neverova

DensePose-COCO: 一个大规模的真实数据集（包含50,000张COCO图像），其中通过人工标注实现了图像到表面点对应关系的精确参考注释（数据规模之大可想而之）
DensePose-RCNN: 该方法通过精确回归每一分区的人体部位特定UV坐标点实现了实时效果（但其采用回归技术的方法显得过于原始与简单）

Abstract

dense human pose estimation: the model establishes dense point-to-point correspondence between a single RGB image and a surface-based representation of the human body

Introduction

二维图像的理解与三维重建紧密相连。基于DenseReg方法，通过CNN对齐3D模型与RGB图像之间的点对应关系。然而，在wild场景下这一问题更为复杂。本研究的主要贡献包括：首先构建首个用于该任务的手动标注数据集；其次通过该数据集训练出一系列基于CNN的系统；最后采用随机像素子集定义稀疏对应关系并通过补丁填充的方式在其余区域补充监督信号。

COCO-DensePose Dataset

Spine Region (包括上半身和下半身)，以及Upper Arms and Lower Arms (包括上臂和下臂)，还有Upper Legs and Lower Legs（包括大腿和小腿）。
为了获得头、手和脚的部分参数信息，则利用SMPL模型中预定义的人体头、手和脚的UV区域参数。
其余部分则通过多维缩放方法基于彼此之间的几何距离进行展开计算。

Accuracy of human annotators

人标记的数据也是有误差的，尤其是对于比较精细的部位，如头、手脚等

Evaluation Measures

Pointwise evaluation assesses correspondence accuracy across the entire image domain utilizing Ratio of Correct Points (RCPs), where a point is deemed accurate when its geodesic distance falls below a specific threshold. For varying thresholds t, compute AUC (Area Under the Curve).

Per-instance evaluation: geodestic point similarity

Learning Dense Human Pose Estimation

DensePose-RCNN采用结合FCN（全连接网络）和Mask-RCNN架构的方法实现对齐和分割任务。识别感兴趣区域（ROI），并通过区域自适应池化提取相应的特征并输入特定分支。
如图1所示，在类似于Faster R-Cnn框架的基础上：
首先提取图像特征，并利用RoI检测生成候选区域。
然后利用RoI池化从候选区域中提取细节特征，并对其进行进一步卷积操作以获得分类信息以及描述候选区域边界的信息。
将上述提取到的patch fed into a multi-task model depicted in 图2.
该系统在跨任务学习过程中应用了cross cascading技术以提升整体性能.