Associative Embedding: End-to-End Learning forJoint Detection and Grouping论文笔记

一.介绍

当我们采用基于bottom-top的方法来进行人体姿态估计时，在这一框架下设计出一种能够区分不同个体的方法显得尤为重要。一种直观的想法是能否为每个体素分配一个标识符——类似于ID号码——使得同一人体素应具有相同的标识符。然而由于输入样本中可能包含任意数量的人体素且无法预先设定具体的标识符范围因此需要寻找一种动态适应的方式来进行分类与区分。我们可以将这一问题转化为聚类任务即让同一人体素被赋予相同或相近的id值而其他体素则应具有不同的或远离彼此的id值这就是本文提出的核心思路。

本文提出了一种表征联合检测及分组输出的新方法——联想嵌入。其核心理念在于对每一种检测赋予一个实数作为标签来标识其所属的类别。简而言之，这些标签使每个检测与同一类别中的其他样本相互关联。

嵌入概念：可以从另一个角度理解为表示将高维度的数据元素通过特定手段转换成一个低维度的空间表示，在此过程中所生成的新维度能够保留原始数据的关键信息特征。本研究中采用了一种基于单维度嵌入的技术来实现这一目标

具体来说，在深入阅读这篇文章后会发现它的论述非常清晰明了。通过查阅相关文献资料可以较为轻松地理解本文的核心思路。

[[论文精读翻译]Associative Embedding: End-to-End Learning for Joint Detection and Grouping_xiaolouhan的博客-博客关联嵌入：联合检测和分组的端到端学习Alejandro Newell, Zhiao Huang, Jia Deng参考文献https://simochen.github.io/2017/12/25/associative-embedding/摘要本文介绍了一种用于检测和分组任务的监督卷积神经网络方法--联合嵌入associative embedding。以这种方式可...

本文提出了一种基于深度学习技术的联合检测与分组方案，在保证检测精度的前提下显著降低了计算复杂度，并通过大量实验验证了该方法的有效性与可靠性

二.结构

通过上图能够直观呈现匹配过程的具体步骤，在此图表中，y轴代表身体关节的不同类别，而x轴则对应于所选的具体嵌入。

为了生成最终预测的结果, 我们将依次遍历各个关节, 从头面部及躯干周围开始, 接着依次延伸至四肢部位, 从而确定整体的人体姿态. 初始阶段基于第一个关节（如颈部）的检测结果来建立初步的人体姿态模型. 在处理第二个关节时，则选择如左肩的位置, 则需确定如何将该处的检测数据与现有姿态模型进行最优融合. 每个关键点处的具体检测由其对应的分数值以及特征向量表示共同决定, 而每个人的姿态则由其所在位置的关键点特征向量平均值得出.

三.总结

本文通过实验验证了关键点检测任务作为网络的核心瓶颈，并且该网络具备了生成高质量图像分割结果的能力。

所以多人姿态估计采用bottom-top方法的核心重点是如何优化关节点检测阶段的关键点识别效率，在其本质层面上则应关注提升小目标检测阶段的关键点识别效率