Attention+UNet！完美应用医学图像分割

2024深度学习发论文&模型涨点之——Attention+UNet

U-Net通过基于UNet架构设计了一种注意力机制，在医学图像分割任务中取得了显著的效果。该方法能够动态聚焦于感兴趣的部分，并提升了分割的准确率和细节捕捉能力。

UNet是一种相对简单的网络架构设计，在其核心特点主要体现在U型连接模式以及跳远连接机制上。相比于标准UNet架构，在该架构基础上引入了注意力机制后形成了Attention UNet模型；具体而言，在该架构基础上结合了注意力机制到跳跃连接（skip-connection）环节中去完成模块化设计

论文+代码

AI创新工场

论文+代码

AI创新工场

论文精选

论文1：

Attention U-Net: Learning Where to Look for the Pancreas

Attention U-Net：学习寻找胰腺的位置

方法

开发了一种新型的注意力门架构，在医学成像领域中能够自动生成对不同形状和大小的目标进行识别和关注的机制。

将注意力机制整合到典型的U-网架构中，在最低计算资源消耗的前提下显著提升模型的敏感性和预测准确性。

该系统在两个大规模CT腹部数据集上的性能表现优异

软件区域规划：在测试过程中，这些门会自动生成软件区域规划，并以明显的方式突出显示对特定任务具有显著价值的特征。

创新点

attention coefficient: 通过基于图像网格的门控机制, 允许attention coefficient在局部区域更加精准地定位, 进而显著提升了性能.

软注意力技术：开发了一种基于软注意力机制的技术，并成功应用于一系列医学成像任务。

研究结果表明，在多个数据集和不同训练规模下，“该方法在多个数据集和不同训练规模下表现出均匀提升的效果。”

去除了对外部器官定位模型的依赖：借助集成注意力机制，并非必须依赖于使用外部器官定位技术。这不仅降低了对数据的需求量，并且实现了较高的预测精度。

论文2：

TransUNet: Transformers function as powerful encoders in the domain of medical image segmentation.

TransUNet：Transformer作为医学图像分割的强大编码器

方法

Transformer码器：通过Transformers码器对卷积神经网络（CNN）特征图执行编码操作，并从中获取其全局语境信息。

解码器进行上采样处理：其对输入的编码特征进行处理后，并将其融合至高分辨率的CNN特征图中以实现目标点的精确定位。

结合了CNN和Transformer的技术，在具体应用中能够同时捕捉到细节丰富的局部特征以及全局的信息关联。

采用级联式上采样架构，在多个解码层中逐步恢复隐藏特征，并最终生成分割掩码。

创新点

全局自注意力机制：基于Transformer架构的先进编码器设计具备固有的全局自注意力机制特性，在医学图像分割这一特定场景下表现出色。

精确局部化：通过与U-Net结合，增强了细节恢复能力，恢复了局部空间信息。

性能提升：TransUNet在多个医学图像分割领域获得了超越所有竞争对手的性能表现

混合编码器架构设计：在该混合编码器架构设计中融合了高分辨率CNN特征与Transformer模型的整体语境信息，并成功提升了图像分割的精度

论文3：

Radio frequency interference detection is implemented through an advanced multi-scale convolutional attention-based UNet architecture.

使用高效的多尺度卷积注意力UNet进行射频干扰检测

方法

该模型基于多尺度卷积操作以识别或提取不同尺寸的空间特征作为射频干扰（RFI）的表征

注意力机制：通过注意力机制对提取的RFI特征图进行权重分配，在模型中重点关注与RFI检测相关的关键特征。

EMSCA-UNet模型：开发了一种新的深度学习模型EMSCA-UNet，在RFI检测中应用，并融合了多尺度卷积模块与注意力机制的优势。

数据增强技术：旨在降低模型过拟风险并提升其泛化性能的同时，在训练阶段实施随机裁剪以及水平翻转等操作进行数据增强处理。

创新点

多尺度特征提取机制：基于多尺度卷积操作提取具有高度信息丰富性的RFI特征，并由此生成具有高度信息丰富性的特征图

注意机制的集成：通过不同注意力机制的融合，在模型中实现了重点关注与RFI检测高度相关的特征的能力，并避免了对特征图中非关键信息的处理。这种设计使得模型能够在提高检测效率的同时实现精准识别

EMSCA-UNet模型在各项关键评估指标上较U-Net模型较均值提升了约5%。

论文4：

SA-UNet: Spatial Attention U-Net for Retinal Vessel Segmentation

SA-UNet：用于视网膜血管分割的空间注意力U-Net

方法

空间注意力模块（SAM）：通过引入SAM估计空间维度上的注意力图，并将其与输入特征图相乘以实现自适应特征细化。

基于结构化的Dropout设计的卷积模块：该模块将取代U-Net中的原始卷积块以解决模型过拟合问题

数据增强：通过数据增强方法提高有限标注样本的使用效率。

创新点

space attention mechanism: by incorporating a few extra parameters, the space attention mechanism can enhance important features (such as vessel features) while suppressing less important ones, thereby improving the network's representation capability.

低复杂度设计：该模型采用轻量化架构，在不牺牲性能的前提下显著降低了计算资源消耗。相较于传统U-Net架构和AGC-NET结构相比，实验数据显示其参数规模缩减约30%以上。

性能提升：基于DRIVE和CHASE_DB1两个数据集的研究表明，在微血管交叉点的分割精度方面，在线学习算法表现出了显著优势。该算法相较于传统批量学习方法，在图像处理效率上有明显提升，在目标检测任务中展现出更高的识别准确度。

---