Heterogeneous Multi-task Learning for Human Pose Estimation with Deep Convolutional Neural Network

Heterogeneous Multi-task Learning for Human Pose Estimation with Deep Convolutional Neural Network

论文题目Heterogeneous Multi-task Learning for Human Pose Estimation with Deep Convolutional Neural Network, 链接

该篇论文是IJCV 2014的, 文章的核心multi-tasks的joint traning.

直接看图说话, 该论文的核心思想/步骤可以分为两个components:

1对图像里面的person进行detection, 以便裁剪出图像里面的人.

这个显然是必要的, 尤其是图像大而person小, 或者图像里面的人较多时(>= 2 people)

由于这部分不是该论文里面的重点, 这点在此就不阐述了,

有兴趣的童鞋, 可以自行看一些person detection(或者行人检测)的论文之类的.

2该论文的重头戏, pose estimation in still image. 下面将详细阐述该部分

Pose Estimation:

还是直接看图:

1上图中输入是裁剪好的图像(根据由human body detector得到的bounding box around the human来获取)

2 显然输入除了cropped image还需要对应的labels. 这里的labels就是对应cropped image的joints'/parts'的coordinates.

显然为了获得更好的perfomace, 往往需要对labels进行归一化. 论文里的归一化比较简单:

x = x / width, y = y / height. 这里的(width和height)是cropped image的高宽.

3 在继续讲解之前, 需要声明一点:

论文里面的joint是指人体关节点,

而part则是多个joints形成的一个更大的joint,

论文里面的part指相邻两个joints形成的stickmen, (简称火柴人), 如下图红色的线段(segment line).

4 重头戏来了:

训练过程:

提到训练, 就必须提到训练的输入是啥了:

image: 根据person detection结果crop出来的image

label: 这里有两个:

joint regressor: 归一化后的joint的坐标(x1 y1 x2 y2 ...)

part detector: part heat map

主要说下ground-truth part heat map的产生:

论文里面假定heat map的大小为7 * 7, 总共8个parts.

(至于network怎么产生heat map的, 可以参考FCN这篇网络)

heat map的每个pixel都可以通过network来找到对应的input image的感受野,

每个感受野都可以作为一个sliding window.

如果该感受野包括了该part的segment line的r%, 这里的r设为50.

这该pixel的值就设为1, 否则设为0.

对于每个part都这样做, 就可以产生其对应的ground-truth的heat maps.

那么对应的loss怎么确定?

joint regressor:

part detector:

multi-tasks的loss为:

一旦输入(image & labels)弄好和loss fucntion定义好, 剩下的就是network的forward & backward了.

测试过程:

给定训练好的model和裁剪好的image, 其中在测试时, part detector是不要的.

将image作为model的输入, forward获取joint regressor的结果, 并进行反归一化,

得到image坐标系下的坐标, 作为最后的预测结果.

整体来说, 该论文的contribution: multi-tasks learning.

貌似这个已经给用烂了, 也没有什么好说的.

从效果上看, 还可以吧.

不足之处, 显然是通过网络将输入图像映射到pose空间上, 即通过全连接层直接回归pose的坐标.

至于为什么, 可以去看看google的"deeppose"论文,

以及lecun的"Efficient Object Localization Using Convolutional Networks"论文.

(请各位客官自行google这些论文, 后续会对它们进行详细的介绍的, 敬请下次更精彩...)