SiamMask：Fast Online Object Tracking and Segmentation: A Unifying Approach
摘要
在进行跟踪任务时提高精度的关键在于如何有效处理（旋转）后的边界框mask；然而现有的分割算法通常具有较高的计算复杂度，在实现实时性方面存在局限。基于此，在针对上述问题的基础上提出了一个整合的目标追踪与分割框架SiamMask；通过将需要追踪的目标对应的mask输入到该框架中即可同时完成目标追踪以及精确的目标分割，并且能够确保操作过程中的高效性和实时性。
背景
研究者认为，在跟踪精度持续提升的过程中（随着跟踪精度的不断提升），用于评估算法准确性的数据集难度也随之提高（从坐标轴对称的bounding box来进行跟踪对象定位到借助旋转后的bounding box以更好地反映目标运动轨迹）。旋转形式的bounding box能够通过目标分割技术来实现 。
作者进一步强调了现有分割算法在实时性方面的局限性，并指出必须为每个目标预先提供初始mask。这种情况下，在实际应用场景中会带来较高的应用成本。
贡献
因此，在解决上述问题方面本文提出了一个融合目标追踪与目标分割的统一整体框架SiamMask该框架在初始化输入方面与追踪问题具有一致性均用于追踪目标的 bbox然而该框架不仅能够获得后续帧中的追踪结果（即 bbox）还能实现每一帧的目标分割结果（即 mask）
如下图所示，在该框架中分别采用了SiamFC网络和SiamRPN网络的基础上，在此基础上增加了目标分割分支模块，并使损失函数随之增加了二元分割项（该二元分割项由两个1×1卷积层完成），从而确保每个Row中的各个位置都能充分地提供信息以辅助目标识别及相似物检测）。其中符号*代表深度加权交叉相关性（depth-wise cross-correlation），与基准方法采用的简单交叉相关性（simple cross-correlation）不同在于：前者每个卷积核专门对应单一特征通道，在此基础下生成输出特征图的数量与输入通道数量保持一致；而后者则通过统一处理所有输入通道并按权重累加来综合特征。
参考
[1]论文作者知乎链接：https://zhuanlan.zhihu.com/p/58154634