Instance Similarity Deep Hashing for Multi-Label Image Retrieval

本文的核心思路较为直接，在将图像间的相似性分类为全同、局同和非同（参考本人另一篇论文的想法）的基础上，在此框架下分别采用交叉熵损失函数来处理全同与非同类别的图像差异，并选用均方误差损失函数对局同类别进行建模从而构建完整的损失函数体系

摘要

在多标签图像检索领域中作者指出目前的方法是基于标签之间的相似度将图像简单地划分为相似与非相似两类然而在此前的研究中还存在局部相似的概念因而未能充分考虑图像之间相似度的排序特征为此作者提出了一种新的图像相似度定义即instance similarity并以百分比形式量化这种相似性随后基于该new similarity measure采用交叉熵损失与均方误差损失构建了相应的损失函数最后通过在三个典型数据集上的实验结果表明该算法具有显著的性能优势

本文的主要工作

作者对基于监督学习与无监督学习的深度哈希方法进行了深入探讨，并揭示了现有大多数方法在处理多标签数据相似性方面存在不足。具体而言，在深入分析不同样本间的相似性关系后，我们提出了衡量不同实例间相似性的量化指标——instance similarity。在此基础上构建了基于instance similarity的深度哈希编码模型（ISDH），并通过结合交叉熵损失函数与最小均方误差目标函数来优化编码性能。本文将详细阐述所提出的方法及其理论基础。

pairwise similarity 量化为百分比，相似度的值sij定义如下：

其中，pij表示pairwise标签向量的余弦距离，pij有如下的定义：

其中，

表示内积，在公式(2)中可以将图像对之间的相似度partitioned into fully similar, partly similar, 和unlike.

本文中的网络架构非常简单，不做多余介绍。

基于之前的实验结果表明，在哈希空间中量化配对相似度的能力，内积运算表现出了良好的性能。而在本研究中，我们采用了缩放内积模型。

来进行度量。

基于pairwise相似性关系矩阵S中, 哈希编码B的最大后验估计即为:

其中，

p(B)代表先验概率分布，在每一对图像i与j之间，在给定哈希编码bi与bj的情况下，sij的条件概率分布被具体定义为

其中，

通过sigmoid函数来表示该参数的同时将汉明距离转换为相似度度量，在计算过程中变量sij则可通过公式（1）和（2）来进行量化计算

基于欧氏距离衡量pairwise similarity与scaled inner product之间的差异程度。在此基础上，高度一致的图像与不一致程度图像Ii与图像Ij通过cross-entropy构建损失函数以量化其相似性，并对其作定义

当假设图像Ii与图像Ij为局部相似的两张图像时，则使用均方误差作为衡量两者相似程度的方法。因此，在本文中所使用的相似度计算方式如下所示：

为简化起见, 我们采用 M_{ij} 作为条件指示变量. 当 M_{ij} = 0 时, 则表明局部相似图像; 而当其等于 1 时, 则表明完全相似或不相似的状态. 在此基础上, pairwise similarity 损失被定义为以下公式:

此外，在损失函数中引入了量化误差损失项pairwise quantization loss（该操作在实际应用中较为普遍），其总体定义如下