Detection-friendly dehazing: object detection in real-world hazy scenes
Dehazing-Oriented Object Recognition: Object Detection in Real-World, Often Challenging, Hazy Environments
摘要
该系统采用BAD-Net这一联合架构将去雾与检测模块整合为一个端到端的整体方案，并设计了两个分支结构通过注意力融合模块充分整合有雾与去雾特征从而有效规避检测模块性能下降的影响同时引入一种基于自监督学习的鲁棒性优化损失函数提升了模型对不同亮度水平数据的适应能力此外开发了一种区间迭代的数据细化训练策略用于弱监督学习指导下的去雾模型优化在RTTS和VOC数据集上进行了全面验证
Introduction
现有恢复模型主要依赖于神经网络技术，在生成图片时可能会引入难以被人类观察到的噪声干扰项；然而对检测模块而言却是有害的
Method
Dehazing module
Detection module
将FRCNN定位于检测模块的核心，并将其选作轻量化backbone以提取特征，并在ImageNet上进行预训练。随后通过将特征图作为候选区域网络的输入生成候选区域，并结合基于FRCNN的意义结构及对应的损失函数对该系统进行优化
Attention Fusion Module
开发了一种模糊感知注意力机制用于整合有雾霾图像与无雾霾图像；当无雾霾处理模块性能欠佳时；无雾霾图像可能会导致更为严重的影响；因此该整合机制旨在解决这两种图像在语义上的一致性问题；许多通道中的注意力值对生成高分辨率且区分度强的注意图至关重要；为了保留空间上下文信息而分别对高度与宽度应用平均池化操作
Loss function
IA-YOLO证明添加恢复图像损失会造成较慢的收敛和更差的检测效果。原因是恢复损失专注恢复图像的质量。同时检测损失集中在感兴趣区域的提取而不是背景。检测目的在于提取对高度抽象不敏感的特征，而去雾目的在于提取对细节敏感和低抽象程度的特征。因此，两种损失之间存在冲突，模型可能会收敛到局部最优点，而不是全局最优点。基于此，引入了一种自监督损失来指导去雾模块的方向，称为Haze Robust Loss（HR loss）。
HR loss由KL散度计算，KL散度用来测量两种分布之间的差异。受此启发，我们使用它作为软约束用来使去雾特征与原始特征相似。我们的目标是学习一种检测模型，使它对于不同雾度都是稳定的。这可以通过约束雾度特征和检测主干提取的去雾特征的相似性来实现。恢复损失学习包括背景信息的图像质量恢复。这可能会引入噪声，对检测造成危害。我们将去雾约束向前移动到检测提取部分。这使去雾模块更加关注目标区域特征的学习。
Ldet为FRCNN的原始特征，α用来平衡Ldet和Lhr的重要性。
Interval Iterative Training Strategy
看不懂…
experiments
三种训练策略：
- 仅限于检测模型进行有雾图像的训练；
- 首先使用去雾霾模型对含有雾霾的图像进行初步处理，并将处理后的结果导入基于VOCn-tv数据集预训练的目标检测框架中；
- 同时对去雾霾与目标检测两个模块进行联合优化以完成对含有雾霾图像的学习
4点观察总结：
- 分离策略方法的性能在很大程度上受到去雾模型的影响。尽管去雾网络具有较好的效果（Jaccard index），但其引入随机噪声可能对计策网络造成负面影响（Jaccard index）。
- CascadeNet收敛速度较慢且性能欠佳（Jaccard index）。这是因为具有两个损失函数的模型难以摆脱局部最优解（Jaccard index）。
- DSNet的优势更为明显（Jaccard index），因为它基于MSCOCO数据集进行了预训练（Jaccard index）。然而，在整个训练过程中 DSNet 的效果逐渐下降（Jaccard index），未能实现预期中的联合优化效果（F1 score）。
- IAYOLO在检测精度方面表现出色（F1 score），因为它仅使用了检测损失函数进行优化（F1 score）。然而，在将其中的去雾模块替换为 AOD-Net 时（Jaccard index），其训练损失难以收敛，并且检测效果显著下降（F1 score），甚至出现了较大程度的精度降低（F1 score）。这是因为 IAYOLO 中采用的传统暗通道去雾算法虽然有助于检测任务的表现（Jaccard index），但它并不适用于提升检测精度的表现增强方案。
- 为了缓解有害特征对检测模块的影响问题（F1 score），我们提出了 BAD-Net 框架。该框架采用了双分支设计方法来有效减少有害特征的影响（F1 score）。BAD-Net 是一种连接去雾模块与检测模块的健壮框架，在低级图像处理与高级模式识别之间实现了良好的平衡。（如图所示）
- 我们的实验结果表明，在测试集上 BAD-Net 能够较为准确地识别被雾霾遮挡的目标物体。（F1 score）7. 对于部分较为复杂的样本，“困难样本”，我们的方法在识别被严重遮挡的小目标时表现不足。（F1 score）8. 在后续的研究中，我们将深入分析各个组件对整体系统性能的影响程度，并探索更有效的联合优化策略以进一步提升整体系统的鲁棒性与准确性。（如图所示）
