【论文阅读】【TIP2024】Reflection Intensity Guided Single Image ReflectionRemoval and Transmission Recovery
引言
任务：单幅图像反射去除（SIRR）
论文地址：
代码地址：
前置知识
在玻璃或其他光滑透明物体阻挡视线的场景中，通常会观察到叠加在透射场景上的明显反射伪影导致图像混乱，视觉吸引力下降。具有反射的图像通常具有模糊，伪影，杂乱的场景或由于玻璃的存在而丢失细节的特征。
基于是否引入附加信息，反射去除方法大致可分为单像反射去除（SIRR）和辅助反射去除（ARR）两类。
一、摘要
单幅图像反射去除（SIRR）的目的是消除透明或光滑表面反射引起的不必要干扰，获得清晰透射层的估计。现有的数据驱动方法通常依赖于将观测图像分解为透射层和反射层，忽略了反射图像的物理生成原理，导致结果不理想，特别是在强反射区域。
针对这一问题，本工作从物理角度分析了反射像的成像过程，得出反射层的照度物理量决定反射强度的结论。然后提出了一种两级反射强度引导网络（RINet），用于反射去除和传输恢复。
二、面临的挑战
1)反射分布往往不均匀，使得在分布和强度方面难以定位反射，特别是当反射强度在图像的不同区域变化时。
2)在处理模糊和阻塞效应时，梯度辅助传输恢复方法可能会引入额外的干扰信息。
我们提出了一种分而治之的两阶段反射强度引导网络（RINet），用于反射去除和传输恢复。根据该策略，SIRR任务可分为反射强度估计子任务 和引导传输恢复子任务 。这两个子任务紧密相连，相互提供信息。反射强度估计子任务提供了输入图像中反射分布和强度的基本信息，这些信息对引导传输恢复子任务起指导作用。
三、创新点
1.提出了一种两级反射强度引导网络（RINet），以分而治之的方式消除反射和恢复传输。实验结果表明，该方法在公共数据集和真实图像上都取得了较好的效果。
2.从物理角度分析了反射像的成像过程，得出反射层照度的物理量决定了反射强度的结论。然后，提出了反射强度生成模块，生成反射强度图来捕捉反射的光照分布和强度。
3.设计联合学习模块，利用透射特征和梯度场先验特征之间的相互作用，共同优化图像结构和细节，更好地去除反射和恢复透射细节。
四、初步反射去除模块PRRM
给定一个输入损坏的图像I，我们的PRRM的目标是学习它的传输和反射分量。如图1所示，PRRM由两个具有循环连接的并行支路组成，迭代生成传输层和反射层。具体来说，假设有K次迭代，对于第K次迭代，传输生成支路以(K−1)-输出Tk−1作为输入，采用编码器-解码器架构更新Tk−1，产生精细化的传输层Tk。
在第一次迭代中，我们采用I作为输入，产生一个初始传输层，即T1 = T1(I)。相应地，反射生成分支在每次迭代中观察学习到的传输层，学习一个反射层，根据传输结果进行逐步细化。此外，我们构建了一个基于LSTM[49]的子网络来捕获前一次迭代的有用信息，用于当前信息流增强。因此，在第k次迭代时，可以得到第k个反射层Rk
式中，erk−1表示第（k−1）次迭代生成的反射层，Rk为第k次迭代的函数。θk−1| Rk−1表示（k−1）次迭代中对Rk−1学习到的LSTM参数，用于帮助当前Rk的生成。
图2所示。初步反射去除模块的循环过程。以最后一次迭代的传输层T´k−1为输入，生成一对更新后的传输层T´k和反射层R´k。
五、反射强度生成模块RIGM
首先，我们分析了带有反射的图像生成过程。带有反射的图像可以建模为两个图像的叠加（见(1)）。根据相机内部的成像过程，传感器（如CDD、CMOS）将光信号转换为电信号，再转换为数字信号。
对于图像中的每个像素p(x, y)，当拍摄场景被玻璃覆盖时，透射场景和反射场景发出的叠加入射光线γ1（x, y）和γ2（x, y）一起进入相机镜头。可以看出，每个像素受反射影响的程度与光线γ2（x, y）有关。
设E（γ2(x, y)）为γ2（x, y）的能量，根据能量守恒定律[50]，E（γ2(x, y)）越大，转换的数字信号越大，p（x, y）的值也就越大，从而决定了p（x, y）的反射强度。为了从图像中计算E(γ2(x, y))，我们引入一个基础物理量：照度，它测量的是单位面积表面入射的总光通量。每条光线的照度与其光能成正比。对于γ2，我们可以得到它们的关系表达式：I(γ2)∝E(γ2(x, y))，其中I（·）为计算照度的函数。推广到反射场景的整个图像RK，可以得到：I(RK)∝E（RK）。基于以上分析，我们提出以反射层的照度RK作为反射强度。
为了计算图像的照度，Horn等[51]提出可以在图像中分离环境光的表面反射率和光谱功率分布。然后，Retinex理论[27]也指出，每张图像都可以看作是两个分量的乘积，其中反射率和照度分别描述了被捕获物体的固有属性和亮度。为此，我们根据[27]、[51]、[52]、[53]、[54]、[55]中的照度分解，提出了将RK分解为反射率和照度两个分量的RIGM，可以用
其中Ψ和Φ分别代表RK的反射率分量和照度分量，即本文的反射强度图。L（·）为RIGM的生成函数。
需要注意的是，RIGM是在LOL数据集[52]上进行预训练的，其中结合了L1损失、照明平滑损失、相互一致性损失和重建误差损失，这与[53]中类似。在[27]、[51]中提出的理论框架的推动下，训练过程取决于从配对数据中导出的两个反射率分量Ψ的一致性，从而可以以无监督的方式生成输入的照度分量Φ。如图1（左）所示，RIGM采用了一个典型的5层U-Net[56]，然后是一个卷积层和一个s形层。然后，使用另外两个具有sigmoid函数的卷积层来生成Φ。
六、联合学习模块JLM
梯度场揭示了图像中局部区域的细节。在第二阶段，我们建议利用梯度来促进无反射层的恢复，这是由所提出的JLM完成的。JLM的关键组成部分是反射强度引导和联合学习过程。
JLM中，我们首先利用生成的反射强度图Φ作为指导，强调透射层的重要信息。
如图1所示，采用3级浅子网将Φ编码为潜在空间。在每个层面上，我们采用空间注意机制[57]来突出重要的反射区域，生成注意图Mi (i = 1,2,3)，并将其作为缩放权重乘以相应的编码传输特征¯F T i来学习空间注意表征
其中F T i在JLM的传输恢复分支中提取特征
除了传输恢复部分，我们还从传输层TK计算梯度图，并探索彼此之间的交互作用，实现相互优化。
具体来说，对于传输恢复分支的架构，我们使用[58]中的编码器-解码器架构，并在每个级别的卷积之后附加卷积块注意模块（CBAM）[59]，以沿信道和空间维度建模远程依赖关系。同时，我们实现了一个更轻量级的编码器-解码器框架作为梯度优化分支来学习去除反射梯度。此外，在编码器端，我们利用特征交互（FI）块，在增强梯度特征之前引入注意传输特征，由
其中Gi Δ表示从第i层梯度图Δ0中提取的梯度特征，¯Gi Δ是得到的特征。~ F ~ T ~ i是由CBAM从F ~ T ~ i得到的特征。Conv（·）表示FI中的3 × 3卷积。在解码器端，我们也利用解码后的梯度特征，通过FI来细化解码后的传输特征
其中Gi Δ和F t1分别表示第i层的解码梯度特征和传输特征。FT i是FI之后的增强特征。
在JLM中，我们还采用了循环学习策略来逐步优化传输层和梯度映射。
通过将传输恢复和梯度优化任务统一在这样一个循环卷积框架中，我们实现了彼此的迭代和协同细化，具体过程如图3所示，其中T j和Gj分别表示传输恢复分支和梯度分支。假设在JLM中有j次迭代，我们最终可以生成一个高质量的无反射传输层T j及其对应的梯度映射Δ j。
联合学习模块的循环过程。它将最后一个输出≈Tj−1和从T ~ j−1计算得到的梯度图Δj−1作为输入，生成一对更新后的传输层T ~ j和梯度图Δ ~ j。从反射强度图Φ中提取的特征图被馈送到传输恢复支路的编码器中。经过J次迭代，生成最终的传输层T ~ J和最终的梯度图Δ ~ J。
七、网络结构
提出的两阶段反射强度引导网络（RINet）的总体框架。在第一阶段，我们对输入图像I进行分解，得到一个透射层T´K和一个反射层R´K。然后，反射强度生成模块（RIGM）以R´K为输入，计算反射强度图Φ。在第二阶段，我们设计了一个联合学习模块（JLM），该模块以Φ为指导，对传输层t_k及其对应的梯度分量Δ0进行细化。采用特征交互（FI）机制来促进这两项任务。T ~ J表示最终传输层。橙色的线表示迭代过程。
SIRR任务可分为反射强度估计子任务和导引传输恢复子任务。这两个子任务紧密相连，其中前者提供有关反射分布和强度的基本信息，作为传输恢复的指导。此外，在一些梯度辅助方法的启发下[20]，[23]，我们提出了梯度优化分支（gradient optimization branch， GOB），迭代地利用传输特征和梯度信息之间的相互作用来更好地去除反射。
