从多任务角度看《Improving Person Re-identification by Attribute and Identity Learning》

本人主要致力于进行多任务学习研究。但相关领域的资料较为匮乏,导致研究进展相对缓慢。通常会从事人脸属性分析相关的工作,在文献检索过程中,偶尔间看到了这篇文章,觉得具有一定的参考价值~由于缺乏对行人重识别领域的深入理解,因此选择仅从多任务学习的角度进行深入研究

首先介绍这篇文章的作者是一位就读于UTS的博士三年级学生，在过去几年中已发表过多篇顶会论文，在此表示羡慕不已。在我的主页上（主页），可以看到有很多行人重识别方向的研究领域，并且基本都提供了相应的代码实现。唯独这篇没有提供相关的代码实现感到遗憾。

下面进入正文，相比之前工作，本篇文章有两方面不同：

• 文章深入探讨了利用一个联合学习网络来解决行人重识别任务与属性识别任务之间的相互促进关系。
• 在以往的研究中，通常忽略了属性间的联系这一重要问题；然而，在实际应用中发现，在同一人身上往往会出现多个属性同时发生的情况。

1.本篇文章的贡献：

为了解决这一问题，在进行多任务训练时发现许多数据库标注资源有限确实让人感到头疼 因此不得不自行创建一些标签。
开发并实现了 novel 的 APR 框架 用于同时完成行人识别与 attribute 识别人机交互系统中的关键组成部分。
详细阐述了所提出的 Attribute Re-Weighting Module (ARM) 该模块通过分析学习到的各 attribute 间的相互关系动态调整每个 attribute 的重要性系数以优化预测结果。
提出了一种 novel 的 Attribute Acceleration Process 该方法通过巧妙地利用不同类型的 attribute 从搜索结果照片中筛选出更有代表性的样本从而显著提升了检索效率。
在两项关键任务上即 属性识别 和 行人重新识别 的性能指标均取得了明显提升。

2.属性标记

人工给 Market-1501 与 DukeMTMC-reID 数据库赋予了属性标签。这些标签均源自于大学环境中的数据采集，并且主要集中在采集于不同时间段的研究者身上。在 Market-1501 中观察到多数参与者着装较为轻便，多选择裙子或短袖装；而在 DukeMTMC-reID 数据库中则普遍选择了长裤等更为正式的穿着方式。因此，在处理这两个数据库时采用了各自独特的属性集合。

在选择一个特征时（文中并未探讨如何缓解这一问题），例如‘是否戴帽子’这一特征（呈现出高度不平衡的状态），因此在后续分析中将‘是否戴帽子’这一特征排除后（行人重识别的结果有所提升）。这可能与数据中存在严重的失衡有关吗？以及如何解决这个问题？

以其中一个为例，在Market-1501中记录了27个特征。这些特征包括性别、发长以及袖长等多个方面。通过表中的数据可以看出，在发长、年龄以及戴帽等方面还存在严重失衡的问题。

各类属性属于身份层级标记范畴。举个例子，在下面这张图片中（注：原文可能存在标点符号错误），值得注意的是，在这两张图片里都是同一个体的身份信息。然而，在对这两张图片进行处理时仍然给它们贴上'有背包'标签。

我们称在同一张图片中两个属性共同出现的概率为这两个属性之间的联系，并展示了一些具有代表性的属性间联系的图像。

3.提出的方法

3.1 两个baseline

• IDEA：对行人重识别模型进行训练，并将其视为一种图像识别与目标检测并存的任务（属于多类别目标检测与分类任务范畴，在实际应用中通常可采用Softmax函数来计算各类别的概率值；最终将具有最高置信度的类别作为预测结果）
• ARIN：属性辨识网络体系支持多维度输出的特征提取能力（其中ARIN结构设计支持同时处理多个属性特征；该网络体系在设计上充分考虑了各子模块间的协同工作特性，在性能指标上表现优于传统单一模态方法）

3.2 联合属性的行人重识别网络（APR）

由APR网络构成的体系主要包括两个核心模块：一个是负责进行 attribute 识别的任务（attribute classification task），另一个是负责 identity recognition 的任务（identity classification task）。给定一张行人的照片后，在处理过程中首先利用卷积神经网络（CNN）提取行人的 feature 信息。随后，在基于这些图像 feature 的基础上进行 attribute 识别。为了衡量 attribute 识别结果与真实 label 之间的差异程度，在每个 attribute 维度上计算对应的 loss 值以获得 loss 矩阵。在 identity classification 部分中，则通过局部区域描述符（attribute）来辅助整体 identity 的识别过程，在这种情况下将各 attribute 识别结果作为进一步 identity 确认的具体依据。

在视觉信息分析过程中，在线学习（Online Attribute Learning）框架（Framwork）通过引入自适应响应率网络（Adaptive Rate Network, ARM），实现了对复杂场景下目标识别能力的有效提升。该方法通过充分提取并融合多维度特征信息，在保证实时性的同时提升了识别性能。

对于ARM模块而言，在其详细实现过程中涉及以下步骤：数据集a被定义为其输入的所有属性预测结果集合。其中每个属性的预测值均属于闭区间[0,1]内的实数，并且总共有m个这样的数值。此外，在这些数值之外还计算并记录了每个预测结果对应的置信度分数

,其中v和b是需要训练的参数，随后ARM模块将原始的预测转为

ARM计算出的输出a被整合到全局图片特征这一区域来进行身份识别。通过图中的标记可以观察到具体的识别结果。

在优化过程中，分为属性识别和身份识别两个大类的loss，用

进行衡量权重，最终loss为

3.3属性任务加速身份识别过程

在实际应用场景中，在重识别系统中占据主要耗时比例的主要环节是计算不同检索结果之间的距离。通过执行属性任务能够显著提高匹配流程的速度。其基本思路在于筛选出不具备相同属性特征的对象并予以排除。

4.消融实验

通过将属性集中的属性依次去掉，来证明该属性的有效性。

5.一点或许并不怎么对的想法

阅读这篇文章的引言部分时感到非常激动，原因是文中探讨为什么属性会对重识别任务产生益处。通读全文后发现可能正是通过这一消融实验来验证其有效性，并未像我原先想象中那样依赖于理论计算的支持。

因为现在进行的实验遇到了一个问题：该实验并未朝着预想的方向发展。虽然网络性能有所提升,但我的预期源于多任务之间的相互作用这一假设,并未得到消融实验结果的支持;此外,在查阅相关论文时也未能找到与这一假设相关的进一步线索。

另外一方面，在多任务学习中不同任务之间的损失函数权重关系也是采用手动调节的方式进行参数优化，并希望通过查阅更多自适应学习领域的研究资料来提升模型性能。
经过实验分析发现整体性能提升空间有限。其中许多思路未必能够奏效，并且作为一个学习过程中的备忘录记录下来以防万一。
如发现有任何不当之处，请随时指正。

如果您从事过多项任务的研究工作，能否希望能得到您的推荐和指导？关于如何开始这些项目感到困惑不知从何下手。