【PDP】RGB-‘D’ Saliency Detection With Pseudo Depth
**【PDP】**RGB-‘D’ Saliency Detection With Pseudo Depth
IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 28, NO. 5, MAY 2019
动机
- 重要性目标检测仍主要基于RGB图像。
- 人脑通过基于RGB图像进行分析和研究来识别场景中的几何模型，并由此实现对场景3D感知。
措施
RGB-'D'****：
基于单一RGB图像的伪深度（具有一致性于人类感知）以...形式提供以指导显著性检测
注意：其实所谓的伪深度就是单目深度估计
伪深度图
适用于 低对比度、复杂的背景和结构，将前景对象与背景分离
媒介传输模型medium transmission model（空气光）
伪深度信息源自该介质传输模型的启发，并经过设计得到一个基于场景表面点与相机间距离的数据计算系统。该系统能够通过计算场景表面点与相机间的距离来获取伪深度数据，并将其作为图像处理的基础参数应用到计算机视觉领域中。
根据大气光学理论，在传输过程中，光线被大气中的颗粒散射导致能量损耗。这表明，在这一过程中，光线被部分吸收，并以新的方向传播。然而，在场景表面各点到相机的光线具有不同的传输路径，在图像的不同位置所捕获的能量包含这些路径的距离信息。
定义 (x, y) 为空间中场景点的坐标位置。随后计算 S(x,y)，即真实世界中该特定位置处的辐射度分布情况。接着引入 t(x, y)，它用于测量通过介质传播的传输特性。之后计算 S(x,y)*t(x,y)，这将得到一个关于未被衰减且成功传递至相机的光能总量的关键指标，并被称为“直接衰减效应”。最后部分指出 Es 和 Ee 分别代表来自 scene 和 environment 的能量来源。
Let I(x, y) denote the RGB image at position (x, y). The light L can be considered as uniform and treated as a constant. It follows that...
由环境光照度所获得的亮度值。同时，在传输过程中积累的环境光照能将逐步增加；场景反射光线的强度会随着光线传输路径的增长逐渐减弱。
传输图ｔ 可以通过暗通道先验 去计算得到：
该模型建立在室外场景的基础之上；然而，在这种情况下（即室内场景），该方法并不适用；本文不仅提出了一个室内的深度预测方法，并且还进行了相关实验研究
对于来自空气光的入射光而言，在此前提下可依仗此模型应用；而若入射光源自电子光，则无法采用前述投影模型。为此我们提出了一种反转捕获图像强度的方法，并基于这一概念构建了具有抗噪能力的半逆图像深度量度。
根据图像I，计算半逆图像， 公式如下：
具体来说，在这之中,LTNc表示图像中心区域亮度,而LTN则表示围绕中心区域亮度.
是光照系数。
首先对图像进行划分，并将其分割成若干个相等的小方格。在这些小方格中分别计算每个区域的亮度均值指标数值。其中，在中心区域所计算得到的数值被定义为LTNc指标数值，在周边区域所计算得到的数值则被定义为LTNs指标数值。然后根据实验数据确定参数λ的具体取值并将其设为0.9
在接下来的实验中，在估计深度的基础上进行反转和归一化处理，并获得最终伪深度值。
基于RGB-D显著性检测框架的应用中，在此基础上我们开发了利用伪深度先验（PDP）的无监督的方法。
采用超像素分割方法（基于线性迭代聚类的SLIC算法）对输入图像进行处理以形成基本处理单元。该方法由于其实现高效而能够将图像分解为N个超像素体素。随后分别从每个超像素中提取颜色信息、深度数据以及纹理特征以便计算各自区域的对比度信息。通过将色彩信息、深度数据与纹理特征综合考虑生成初步前景区域显著性图。在此基础上我们通过伪深度估计方法建立背景先验模型并将其与前景区域显著性结合优化以实现最终结果输出
超像素是由一系列位置相邻且具有相似颜色、亮度及纹理特征的小像素点组成的区域。
这些小区域通常保留了进一步图像分割所需的关键信息，并且一般不会破坏图像中物体的重要边界信息。
超像素代表将一幅基于单个像素级别的图片划分为基于地区级别的图形