PG-NET:Pixel to Global Matching Network for Visual Tracking阅读
文章目录
- 引言部分
- Siamese系列
- Siamese的主要缺陷
- PG-net
-
-
网络架构
-
PGM框架下的PG-correlation
-
共享互相关运算
-
实验结果
-
文前唠叨
最近初次接触目标跟踪技术，在实际应用中常会遇到目标与背景或相似物体干扰的情况。作为一个新手学习者，在研读2020年ECCV会议论文《PG-Net》时表现出浓厚兴趣并深入理解了其中原理。总体上较为容易理解这篇论文的核心思想后就简单的做个总结吧。为了便于日后复习也能促进交流（共同进步），特意将这篇论文的下载地址附上：
链接: ...
尚未找到对应代码库但我相信总有大神会告知的哦~
总之如果有幸找到相关代码资源还请告知！
Siamese系列
该论文建立在Siamese网络的优化基础之上，请在此列出SiamFC及其解读的相关内容：其代表性的研究及其解读。便于大家深入研究和学习：SiamFC；SiamFC解读。
DaSiamRPN.
DaSiamRPN解读.
当然，网上对这些论文的解读也有很多，大家也可以自行去找，这里只是为了方便大家贴出来了几篇。
Siamese存在的问题
尽管基于Siamese网络的算法在精度和速度方面均表现出色，在近年来有很多研究工作致力于改进其性能。然而这些跟踪器在抗背景干扰方面存在不足。互相关作为Siamese跟踪器的关键运算，在这篇论文中作者指出主要原因是几乎所有的现有方法都通过直接对深层特征进行卷积操作来计算相似度这一做法导致了匹配区域显著扩大从而引入了大量背景噪声影响了匹配效果因此作者首先对其现有互相关操作存在的主要缺陷进行了深入分析
值得注意的是，在实际应用中，匹配区域往往显著超出预期范围。从图中可以看到，在将模板特征与检测特征之间的匹配关系直接映射至搜索图像后，并非能够精确地确定出与目标具有相同尺度的理想匹配区域（绿框）。受感受野影响，在较深网络结构下，一个特征点可能在输入图像中覆盖较大的范围。因此，在实际场景中所获得的匹配区域往往远大于理想状态下的范围。这会引入大量背景信息，并且可能会导致目标的一些关键特征被覆盖掉。从而使得目标在背景相似的区域难以被准确区分。
过大程度的区域划分会产生多个响应区间，并加剧了目标定位过程中的不确定性。 如图所示，请注意我们关注的目标是蓝色阴影区中的运动员。 将其标记为目标位置的最佳情况是在该区域内恰好位于中心位置时被正确识别出来。 但是一旦将该匹配范围进行放大检查，在两个黄框中也会出现类似的目标物体从而导致了额外的识别误报进而产生了两个黄色的响应区间 这使得生成了额外的黄色响应区间 从而导致了整体的目标定位变得更加模糊
PG-net
网络结构
基于上述分析的结果表明，作者设计了一个名为PG-Net的网络架构（如图所示）。该网络在结构上有相似之处与SiamRPN++模型，并显著降低了背景区域的干扰。在降低计算成本的同时，并在此基础上显著提高了检测精度。该网络由特征提取子网和目标定位子网两个主要组件构成。其中特征提取子网采用ResNet50模型构建，并通过残差学习机制获取图像深层表征信息；而目标定位子网模块则由三个独立的分支单元（PGM）组成。每个单元通过像素级到全局级匹配机制进行相似度计算，并输出三组基于锚框的位置信息（分类和回归结果）。
PGM中的PG-corr
此前指出定位子网由三个关键组件构成。其中每个像素会同时计算其在检测特征与模板特征全局层面上的相似度。这些组件包括主循环相关器（PG-corr）以及用于生成边界框检测头的部分。主循环相关器表现出强大的背景干扰抑制能力，并且其机制在于每次搜索时逐步缩小匹配区域以提高准确性。那么主循环相关器是如何具体执行互相关操作的过程呢？我们首先关注的是模板特征的具体分解方式——即如何逐步缩小匹配区域以达到更高的识别精度。
如上图所示：
首先将模板特征在空间维度上进行分割；随后，在这一过程中针对高度和宽度分别实施切割操作；具体而言，在空间维方向上将该区域划分为c个子区域（其中每个子区域的尺寸为wz × hz）。
为了提升通道间的关联性，在通道维度上对上述分割后的模板特征再次进行了处理；最终得到了c个尺寸均为1 × 1 × nz的小块区域。
如图所示：
wx和hx分别代表检测特征Xf在宽度方向上的尺寸及高度方向上的尺寸。对于位于Xf矩阵中的第j行第i列元素xf(i,j)，首先计算该位置与模板特征分解1生成的空间核单元之间的相似度。其中,S1(i,j)中的数值反映了xf(i,j)与Zf空间中第m个维度的相关程度,具体可以通过以下公式表示：
为了进一步获取xf（i,j）与全局模板Zf之间的相似性关系，并结合通道核（由模板特征分解2生成）来统一地评估局部位置相似度。经过上述运算所得的相似度值可由以下数学公式表示：
共享互相关操作
一些基于Siamese网络的跟踪器采用了回归分支模块来提升边界框的精度, 一般情况下会对每个分支执行特定互相关操作. 如图（a）所示, 该结构包含多组互相关层, 其计算量较大. 针对这一局限性, 提出了仅对分类和回归分支部署一个共享的相关操作方案（如图b所示）：首先在信道维度上将检测特征xf与相似性特征s2进行融合, 然后通过1×1卷积层进行降维处理, 将特征输入到PG-corr模块中完成相似度匹配过程；最后将生成的相似度图作为分类与回归任务的输入, 实现边界框预测.
实验结果
有浓厚兴趣的读者可参考论文中的详细内容,无需过多赘述
下面分享结束之后，请各位同学继续关注我的更新哦~期待大家的成长与进步！