SaTransformer：用于乳腺癌分类和分割的Semantic-aware Transformer
现有方法分别将分类与分割划分为两个独立的任务，并未考虑两者之间的潜在联系；而现有的方法不同之处在于SaTransformer能够通过一个单一的架构实现这两个任务的同时完成。然而，在特征表示学习过程中两者并非孤立存在——它们之间存在相互作用关系：即分割与分类信息不仅在语义上是交互的，并且能够在有限的内存消耗及较低计算复杂度的情况下显著提升特征表示能力。
乳腺癌的精确分割与分类仍然面临诸多障碍；具体而言：
- 乳腺癌边界模糊且信噪比较低；其信号特征呈现出非均匀分布特征。
- 不同患者的肿瘤特征存在显著差异；这进一步提高了分割与分类工作的难度
基于CNN的乳腺肿瘤分割和分类方法仍然面临的挑战：
以往的研究通常将分割与分类视为两个互不干扰的任务，并未体现两者的相互影响。通过我们的实验研究发现，在基于CNN的方法用于乳腺肿瘤分割与分类时建立两者的关联可能有助于提升模型的整体性能
现有的基于CNN的模型存在局限性，在构建不同特征空间间的关联性与独特性方面表现不足，并未能有效应对较低信噪比、复杂背景结构以及边缘模糊不清等挑战
语义感知转换器（Semantic-aware Transformer）
建立每个像素之间的相关性，用于全局结构和内容信息的提取。
- 基于乳腺癌全局结构的数据特征提取
- SaTransformer具备在整体特征提取方面具有显著优势，在计算开销小的前提下
- SaTransformer简便地扩展到其他任务
在SA Transformer架构中进行研究发现，在针对分类与分割任务时所提取的语义特征能够通过相互促进而增强模型在特征提取方面的性能。
- 新型SaTransformer网络能够促进分割与分类任务间的互动，并能有效克服分割与分类任务之间缺乏信息交互的问题。
- SaTransformer不仅仅需较少内存及较低计算复杂度，并且能实现较高效率的同时有效提取全局特征。
目前的方法主要集中在利用卷积滤波技术上，并未充分考虑外部环境中的整体特征分布；仅关注感受野范围内的单一区域信息；未能有效建立不同特征空间之间相互关联及区分度的能力。
Transformer
一种从组织病理图像中对乳腺癌进行分类的去卷积变换（DECT）模型。
双流深度网络（DCET-Net）主要应用于从组织病理学图像中识别和分类乳腺癌；该方法整合了卷积神经网络（CNN）与 transformer模型；该系统通过卷积神经网络Stream专注于提取组织病理图像中的局部深度特征，并通过变换流模块增强了整体信息表示能力；最终实现了更加显著的乳腺癌组织识别效果
文章提出的方法
框架
该框架主要包含两个核心组件：第一部分负责提取和表示特征；第二部分则负责图像分割及分类处理。
编码器和解码器基于经典的U-Net架构进行构建，在处理过程中逐步提取上下文信息并输出相应的分割结果。
编码模块
由四个残差块与四个步长为2的最大池化层构成。通过逐步减少特征图的空间分辨率并增强卷积神经网络的感受野来提取全局特征信息。为了防止信息丢失并促进编码器与解码器之间信息交互，请采用长连接机制将来自两个模块的相同分辨率级别的特征图进行连接。
解码模块
由四个反卷积层与四个SaTransformer模块构成。反卷积层逐步对特征图执行上采样操作,直至达到与原始图像尺寸一致的需求。基于像素级别的相关性构建机制, SaTransformer能够在有限的内存开销和较低计算复杂度下显著提升特征表示能力。通过最大池化将模型提取的语义信息应用于分类任务
SaTransformer
这类模型在处理长距离像素相关性和提取此类信息方面展现出卓越性能。主要包含用于注意力计算的多头自注意机制模块、用于特征变换的多层感知器、用于特征融合的归一化操作单元以及跳跃连接。
自注意力机制通过创建了不同特征空间之间的联系与区别来形成长期的依赖关系。
维度注意力组件是一种特殊的注意力方式,它专注于对输入数据在多个维度(如通道和空间等)上的重要性进行处理。
注意力图的大小为
，对于
像素的图像,其存储复杂度为
因为self-attention accounting for the majority of computational overhead in Transformers, we introduce a novel dimensional attention module (DAM) that effectively reduces the complexity from quadratic to linear, thereby significantly decreasing the computational burden associated with self-attention operations.
给定一个输入特征映射
，为了确保像素之间的上下文全局关系，对维度相关性进行建模
维度注意力模块中维度-注意图的大小为
,d是控制点积大小的可学习的比例参数。
模型训练
本文采用
损失函数作为像素方面的加权损失 ：
交叉熵损失
实验
为了评估分割性能，使用骰子相似系数（DSC）和杰卡德相似系数（JSC）
SaTransformer的消融学习
我们使用不同的模块比较基线的性能，以演示SaTransformer的有效性。
分割基础模型 ：该网络的基础架构主要依赖于传统卷积神经网络。在该设计中，并未引入基于旋转 attention 的 SaTransformer 模块。专为精细粒度分割任务优化而来。其性能表现可作为该细分领域的基准。
分类基准模型：这里的基线用于分类任务。在解码阶段学习的特征经过全局池化层提取，并用于实现最终的分类任务。
用于分割的SaTransformer+基础模型 ：SaTransformer网络由
针对分割任务进行训练。
用于分类的SaTransformer+基础模型 ：SaTransformer网络由
针对分类任务进行训练。
用于分割和分类的SaTransformer+基础模型 ：SaTransformer网络由
和
针对分割和分类任务进行训练。