Bijective Mapping Network for Shadow Removal论文阅读笔记

目录

作者工作：

网络结构：

Shadow-Invariant Color Guidance Module阴影不变的颜色指导模块

Loss

Limitation

---

作者工作：

大多数现有的基于深度学习的方法主要局限于通过匹配配对图像的内容单独去除阴影，在这一过程中基本没有考虑到在影蔽数除过程中阴影生成作为辅助监督的角色。在这项工作中, 作者认为影蔽数除与生成是相互关联的, 并且它们之间能够相互提供有益的信息监督.

一、提出了一种新型阴影消除框架。该框架整合了影子消除（正向映射）与生成（反向映射）两大模块，并将其融合于一个基于参数共享的生物映射网络（BMNet）。这些程序通过一致性的双向约束实现同步优化，并通过相互协作提升整体去阴影性能。

Motivation ：假设正向映射Isf = F(Is, C; θ)达到了最佳状态，则我们可以利用相应的逆变换F^{-1}(Isf, C; θ)，成功恢复原始图像Is。消融阴影操作与生成图像的操作本质上是同一枚硬币的两面。通过引入逆变换过程来施加结构化约束，则可有效提升正向映射性能[17]。

二、BMNet中构建了一个阴影不变量颜色指导模块，在这一模块中融合了阴影不变量颜色信息用于辅助阴影区域的颜色修复工作，并且这一设计使得颜色偏差问题得到了更加有效的解决

Motivation：从直观上讲，阴影往往会给图像带来明显的色彩退化现象，并且这可能意味着RGB光谱的比例发生了变化。此外，在不同颜色通道中（即不同的RGB光谱），阴影可能会产生不同的影响效果。因此，在处理不同颜色通道时需要特别注意阴影的影响表现差异。

总体而言，在不同的色谱下阴影会影响图像效果的不同程度。这一发现促使我们进一步利用颜色特征作为重建依据，并采取措施以降低由于色彩偏差导致的重建误差。

网络结构：

可逆网络无法直接应用于阴影消除任务。基于此，本文引入了mask和颜色保持不变图这两个关键条件作为输入特征。针对‘可逆网络无法直接应用于阴影消除’这一观点进行详细阐述：由于可逆特性意味着双方向映射关系的存在性，在这种情况下我们探讨了两种可能的映射路径：一种是从带有遮挡的图像向无遮挡图像的转换过程（即从影子图像到清晰图像），这在常规CNN模型中是可以实现的；另一种是从无遮挡图像向带遮挡图像的转换过程（即从清晰图像到影子图像），这在缺乏mask辅助信息的情况下显得不可行；因此为了实现完整的双方向映射关系，在这种情况下必须引入mask信息作为必要的先验条件进行辅助输入

在前向映射的过程中，BMNet接收输入为阴影图像Is，并基于条件信息从Is到其变形后的版本ˆIsf建立前向映射关系。研究团队首先通过一个核大小为1×1的标准卷积层提取出浅层特征表示x0I；随后将这些特征与辅助条件信息C（包含阴影遮罩图和颜色图）一起输入到由n个级联构成的可逆块序列（IBs）中进行特征仿射变换；最后通过另一个1×1的标准卷积层生成最终输出ˆIsf。具体而言，在这一过程中我们发现：其中C代表的是阴影掩膜以及我们在论文中所学习得到的一种保持阴影不变的颜色图

深入第i个可逆块内部后，在通道维度上将输入特征量xiI均匀分割为两部分[xiI1, xiI2]。通过仿生学原理进行转换处理后生成输出特征量xi+1 I。

反向映射过程同上。

Shadow-Invariant Color Guidance Module阴影不变的颜色指导模块

下图展示了Is、Isf的颜色图与基于编码器Gc(-)生成的估计颜色图之间的视觉对比。该系统主要通过从Is学习阴影不变性来推导出目标物体的颜色特性。

在作者所提出的阴影不变颜色引导模块（SICGM）中، 系统性地融入了网络学习所得的不变颜色信息Gc(Is)以及遮挡掩模, 并有助于网络生成无阴影图像的同时降低预测色彩失真程度.

如下图所示

Loss

Limitation

BMNet能够有效去除图像中的阴影效果显著但该方法仍存在局限性