《Context-Aware Saliency Detection》阅读理解

作者：Stas Goferman, Lihi Zelnik-Manor, Member, IEEE, and Ayellet Tal

IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 34, NO. 10, OCTOBER 2012

论文地址： Context-Aware Saliency Detection | IEEE Journals & Magazine | IEEE Xplore

论文基于心理学上的四个principles 提出了显著性检测算法，分别是：

1. Local low-level considerations , including factors such as contrast and color.（局部对比度，具有明显的color或patterns的区域应该具有较高的显著性值）

2. Global considerations which suppress frequently occurring features while maintaining features that deviate from the norm.（全局对比度，抑制经常出现的特征）

3. Visual organization rules which state that visual forms may possess one or several centers of gravity about which the form is organized.（空间分布，如中心先验）

4. High-level factors such as priors on the salient object location and object detection.（高层特征的平滑处理）

论文利用1-3定义了算法，4用作后处理,比如利用recognized objects or face detection 来增强 saliency map，但是论文并没有使用。

论文摘要指出，该算法的优势主要是：The benefits of the proposed approach are evaluated in two applications where the context of the dominant objects is just as essential as the objects themselves. In image retargeting, we demonstrate that using our saliency prevents distortions in the important regions. In summarization, we show that our saliency helps to produce compact, appealing, and informative summaries.

比如，图1 展示了算法的SOD结果：

其中，第一行是原图，第二行是对图像的描述，第三行是显著性对象，第四行是本文算法的评价结果（除了定义的显著性目标，还检测出了有意义的背景部分）。

第一，Local-Global Single-Scale Saliency

论文首先对图像分块，用一个包含pixel i 的块 的显著性来定义该pixel的显著性，因此，将包含pixel的块与其他的块进行比较（不需要比较所有的块，只需要比较与其最相近的K个块，论文中K=64）

论文定义的 dissimilarity measure between a pair of patches as:

c=3.其中，dcolor表示pi 和qk 在CIELAB颜色空间中的欧氏距离，dposition表示pi和qk的欧氏距离。 论文认为，背景和距离它较近或较远的部分都可能相似，而显著性目标是聚集在一起的。因此，如果pi显著，则它与相近的qk在颜色上差距大，在距离上差距小。 因此，the single-scale saliency value of pixel i at scale r is defined as：

特点：显著性值在[0,1]之间，与d成正比。

第二，Multiscale Saliency Enhancement

Multiscale Saliency Enhancement 对于每一个pixel 用 多尺度的图像patches的集合来表示，pixel i 如果在多个尺度上与其他pixel 不一致则认为其是显著的， 公式如下：

每一个pixel 用R={r1,...,rM}的集合来表示。

所以每个pixel 的显著性可以表示为在不同尺度（scales）下的显著性的均值：

据此，对比背景部分的pixel i 的显著性可以定义为：

其中，dfoci表示 the euclidean positional distance between pixel i and the closest focus of attention pixel at scale r。

第三， Center Prior

用G表示2D 的 Gaussian positioned at the center of the image, 水平方差（horizontal variance）is set to ,垂直方差（vertical variance）is set to ,则一个pixel的最终的显著性值为：

其中，Gi是G中pixel i 的值。

算法的step 图:

算法实验结果图：