(脑肿瘤分割笔记：六十二)缺失模态下的对抗性联合训练脑肿瘤分割网络

ACN: Adaptive Co-Training Framework for Brain Tumor Segmentation with Missing Data Patterns

摘要

临床实践中的常见问题通常由图像损坏、伪影、不同的采集参数设置或对某些造影剂的过敏反应引起。尽管如此，在多模式场景下（即多个通道同时失效），当前的方法仍面临较大的挑战--主要缺陷。然而目前的研究已显示可能通过构建一个统一的模型来解决各种缺失问题。

具体地说，在开发了一种创新性的联合训练架构之后，在全通道与缺失通道的学习过程中实现了相互补充各自领域的特征表示，并在此基础上构建了两个无监督学习模块：信息熵模块与知识对抗学习模块。前者旨在通过提升预测可靠性同时促进潜在表征对齐，并尽量缩小领域间的差距；后者则致力于在提升预测可靠性的同时促进潜在表征对齐，并尽量缩小领域间的差距。该模型通过实现彼此领域与特征表示间的互补融合，并最终实现了对缺失信息的重建。

具体而言，在模型架构中包含两个关键的学习路径：多模态路径负责提取并整合丰富的模态信息特征；单模路径则专注于生成各模态特有的表示形式。为了优化两者的协同关系，在二者之间引入了联合训练策略，并促进两者间的耦合关系。该系统由三个主要组件构成：1）基于熵对抗的学习机制（EnA），旨在弥合多模态与单模路径之间的领域鸿沟；2）通过知识对抗促进多模态与单模体学习过程中的潜在表征优化的知识传输机制（KnA）；3）利用变分信息最大化实现不同特征层次间不完整知识的关联恢复的MMI模块。

方法

2.1对抗协同训练网络

每种视图的数据均经过独立训练，并提供了额外和支持的信息。我们提出的网络架构如图所示，则能够展现出多模态和单模态训练的能力。

该系统由两套学习线路构成即多通道学习模块与单一通道学习模块这两条线路分别负责从完整的数据流中提取通用特征并从部分数据源提取具有代表性的特征具体而言完整的视频片段会通过特定方式连接形成一个整体而单独的部分则会经过独立处理后整合成一个统一的数据体作为输入

。

单峰路径从N个可用的不完整模式接收patch，用

这两条路径均采用相同的UNet架构，并分别进行独立训练；随后我们基于两路径的输出分布提取语义信息，并构建了一致性损失函数项；该损失函数旨在最小化两者之间的KL散度；具体而言损失定义如下所示

，其中

softened\ count of both multi-modal and single-modal paths represents the softening\ ratio. C represents the total\ number\ of\ classes. The coupled learning process not only facilitates the learning of single-modal paths to multi-modal paths, but also increases the necessity for such learning.

下面提出的是一对对抗学习组件，在缩减两者之间的分布差异的同时，并通过知识转移机制实现两者的相互关联

2.2熵对抗学习

多模态路径和单模态路径分别接受

此外及其真实标签。由多模态路径生成的软分割特征图被用来表示C类的离散分布。

在此基础上, 我们基于一致对抗训练的方法, 通过促进单模态学习中各特征维度的概率分布趋向于与多模态学习中对应维度的概率分布, 以减少单模态学习中各特征维度的概率熵. 具体来说, 多模态路径的概率熵映射过程就是通过计算其与多模态特征空间的距离关系来进行描述.

的定义与加权自信息映射相同，计算公式为

，

同样支持缺失模态Patch Xuni，在单模态路径中可被视为一个生成器，在其基础上共同构建软分割映射与熵信息表征；通过引入一个全卷积网络充当判别器来完成两者的对抗关系：其中生成器致力于模仿单模态熵信息并成功欺骗判别机制；而鉴別器则专注于辨别单一模式特征与多模式特征之间的差异性特征，在此过程中双方的优化目标均围绕着构建以下联合损失函数展开

2.3知识对抗学习

鉴于高层表示蕴含着更为丰富的信息内容，在潜在空间中实现特征分布的对齐这一目标时有其必要性。然而，在仅通过最小化两个关键路径上瓶颈特征间的KL发散度{Rmulti, Runi}来规避深层干扰单峰路径这一策略时也存在明显局限性：这种被动应对的方式容易使生成器Gkn陷入陷入单峰路径的风险。基于此背景要求我们引入一种更具前瞻性的机制：通过设计一个知识对抗模块来促进两种不同路径上高级特征表示间的对齐工作；与EnA模型类似地采用生成器Gkn试图误导另一个鉴别器Dkn这一思路相呼应地该目标函数的形式得以得以体现

2.4模式-互信息知识转移学习

多模态路径可能会包含与任务无关的信息，并为此可能需要通过单模态路径进行多余的对齐。针对这一问题提出了解决方案的方法是引入了基于互信息的知识转移学习记忆方法。

2.5总损失函数

总的损失函数为

总结：

在此研究中, 我们开发出一种新型对抗联合训练网络模型, 主要针对大脑肿瘤分割中的特征缺失问题. 此外, 为了实现这一目标, 我们设计了两个无监督对抗学习机制用于同步完整模态与不完整模态间的域以及特征特性. 同时, 在同步过程中融入了模态互信息损失项, 这有助于提升模型对缺少知识的适应能力.