Advertisement

2019 CVPR:Patch-based Discriminative Feature Learning for Unsupervised Person Re-identification

阅读量:

Patch-based Discriminative Feature Learning for Unsupervised Person Re-identification
当前的问题及概述
虽然针对差异性局部特征对ReID任务是有效的,但它们仅限于成对的被标记数据大间隙上进行训练,但在其他小间隙的不相似部分获取起来成本较大。如下图:

在这里插入图片描述

本文提出了一种基于Patch的无监督学习框架旨在解决这一问题。该框架通过从Patch而非整个图像中提取和识别特征显著降低了计算复杂度和相关成本。

在这里插入图片描述

本文提出的PatchNet主要由backbone模块与patch generation网络(PGN)构成。随后通过随机图像转换生成一批正样本数据,在此基础上运用PGN对每个特征图层提取M个patch特征点集进行建模。该网络架构可划分为三个核心模块:定位网络(LN)、采样网格构造层以及采样操作器三者协同工作以实现完整的特征提取过程。具体而言,在pedal损失函数指导下通过对比学习机制优化各层次特征表示间的语义关联性

在这里插入图片描述

其中,在一个批量处理中第i个样本的第m个patch的位置坐标为xm i,在该位置上提取得到的所有特征向量构成了一个集合Wm,在训练过程中,在每张图片输入后会被用来更新未标记数据集所用到的数据集。

在这里插入图片描述

其中,在这一过程中,Kmi会比xmi更加接近,目的是让模型能够学会如何将那些视觉上相似的patch映射得更近,从而从中提取更多的视觉一致特征,这些特征有助于进一步提升模型的表现能力。具体而言,PEDAL旨在通过这种方式实现以下目标.

在这里插入图片描述

基于图像级别的Patch特征学习主要旨在通过triplet损失函数最小化同一类别内样本间的距离,并同时最大化不同类别样本间的距离

在这里插入图片描述

其中,在本文中我们采用了循环排序方法。如图所示,在遍历时会找到第一个hard negative sample,并将该负样本与现有的正样本进行训练

在这里插入图片描述

2.2.3总loss:

在这里插入图片描述

实验

数据集:Market-1501, DukeMTMC-reID

与其他框架比较:

在这里插入图片描述

消融实验:

在这里插入图片描述

总结
本文同样是通过对样本进行分patch的思路训练的,通过基于patch的无监督学习框架减少计算量和成本,本文最大的亮点的生成patch的方式和提出PEDAL对patch进行pull和push,首先提出的PGN是通过backbone提取的feature map输入并预测空间位置,每个预测的参数经过采样生成不同的patch,其次是loss,一个是针对patch的PEDAL通过无监督方式将视觉上相似的patch聚合,不相似的分开,以及一个针对image的IPFL通过循环排序找到正负样本,然后将正样本聚合,负样本分开。

全部评论 (0)

还没有任何评论哟~