An edge-aware high-resolution framework for camouflaged object detection阅读笔记

摘要：

现有的模型在多样化的实际应用场景中表现尚可，在面对更具挑战性的情景时——例如小物体、边界模糊以及细长结构等问题——现有方法仍难以有效地分割出伪装的目标。
为此，
我们提出了一种创新的方法，
即一种新型边觉高分辨率网络。
具体而言，
我们开发了一个高分辨率特征增强模块以融合多尺度特征并保持局部细节。
此外，
我们新增了用于生成高质量边缘预测掩码的功能模块。
基于此，
我们构建了依赖于边缘预测掩码的关注机制模块。

代码地址：https://github.com/clelouch/EHNet（目前还未公开）

Introduction

作者指出，在输入图像时已有的一些方法均会降低图像的空间分辨率，并且这种基于resize的操作虽然显著减少了计算负担和内存需求的同时却牺牲了伪装目标与背景之间细微差别的敏感度。这种操作可能就会导致模型在复杂场景中表现出较差性能例如，在低对比度环境中或小目标场景中

问题二：模型中引入边缘先验已被正式认可，并可有效实现区域对目标和背景的伪装。多种方法均采用边预测图与特征图的融合方式，并通过多通道整合来强化边缘细节。值得注意的是，在这种整合后，若将边缘图简化为单通道，则可能会显著削弱对目标与背景之间信息的协同作用。

解决方案：

对于问题一而言，在本研究中我们设计并实现了High-Resolution Feature Enhancement Module(HRFEM)这一模块化架构。该模块通过多级分支网络实现特征增强功能的同时，并能够有效提取不同尺度的空间信息。值得注意的是，在本设计中各分支节点均未引入下采样操作步骤这一特点使得整个网络能够更加高效地保持图像的空间细节信息

针对问题二而言，在本研究中我们提出了一种 novel的Attention-Guided Fusion module（标记符号）AGF（Acronym）。该模块旨在融合标记信息与edge prediction map（标记符号）之间的关联性数据。借助于边缘先验知识（Knowledge），我们的方法能够有效抑制特征图（Feature maps）中的噪声干扰，并生成具有精细粒度细节的标记信息（Mask）。基于此基础之上，在进一步提升模型性能方面我们又开发了一种创新性的Edge Prediction Module（EPM）（Acronym）。该模块通过多级池化与卷积操作（Operations）能够有效地提取并整合不同尺度的空间语义特征（Semantic features），从而实现目标边界预测任务的高精度输出

3.Method

模型总体结构如下：

首先观察输入图像时发现，在该架构中采用的是经典的resnet作为backbone模块。具体来说，在经过conv1层、池化层以及layer1后，在该架构中加入了一种Pm模块（即指代为2*2 MaxPooling），接着又增加了多个层结构以进一步优化网络性能。

然后我们观察到，在layer1-layer4中，这些feature maps与HRFEM相连接，并即连接到了HIgh Resolution Feature Enhancement Module中。该模块旨在提升图像的空间分辨率。

需要注意的是关于AGF模块的输入其实在这里要特别注意它的工作流程它包含了三层不同的信息首先是来自上一层AGF模块输出的部分这是因为这种设计采用了渐进式融合的技术通过细化处理来生成mask其次是由一条黑色线条表示出来的特征图谱也就是所谓的The feature map接着又由一条红色线条指示出来的边缘预测图谱即The edge prediction map该模块的作用在于有效地整合边缘信息与特征图谱之间的关系从而完成最终的目标

然后试着了解我们edge预测图是如何产生的，在这里是由EPM模块生成的。其输入为m4

为什么作者要选m4呢，他好像没解释。（也许在消融实验解释了，我没仔细看）。

总体来说思想就是这样，感觉没有很创新的点。