（脑肿瘤分割笔记：四十八）广义 Wasserstein 骰子分数、分布式鲁棒深度学习和用于脑肿瘤分割的 Ranger
目录
Generalized Wasserstein Dice Score, Distributionally Robust Deep Learning, and Ranger for brain tumor segmentation: BraTS 2020 challenge
摘要-Abstract
方法：改变深度神经网络优化的三个主要成分
2.1改变针对于每个样本的损失函数：广义Wasserstein Dice损失
2.2改变优化问题：分布鲁棒优化（DRO）
2.3更改优化器:Ranger
2.4深度神经网络的集成
Generalized Wasserstein Dice Metric, Distributionally Robust Deep Learning Models, and Enhanced Random Forest for Brain Tumor Segmentation: BraTS Challenge 2020
摘要-Abstract
训练深度神经网络涉及四个关键组成部分：包括深度神经网络架构设计、单个样本的目标函数、整体目标函数以及优化算法的选择与应用。近年来，在脑肿瘤分割方法的研究中，学者们通常仅注重神经网络架构的设计工作；而对于其他三个方面的研究则相对不足。本文并未对现有模型进行任何修改仍然采用3D UNet框架；而是尝试引入了新的单样本损失函数（如广义Wasserstein Dice损失）、非标准总体目标函数（基于分布鲁棒优化的方法）以及一种新型优化算法Ranger（其中广义Wasserstein Dice损失被定义为每个样本的目标函数）。此外分布鲁棒优化作为一种概括性的方法其意义在于揭示经验风险最小化在面对数据分布中存在代表性不足区域时的表现特性；而Ranger作为一种Adam优化算法的扩展版本特别适用于处理小批量数据和具有嘈杂标签的情况时表现出更高的稳定性
方法：改变深度神经网络优化的三个主要成分
深度神经网络的训练包括以下优化问题，用公式表示为
其中h是参数为
基于深度神经网络设计的一种图像处理模型中,L是一个光滑且逐像素定义的损失函数,其中（xi,yi）代表训练数据集中的样本,Xi表示输入的多模态数据,Yi对应于真实的手动风格标签
2.1改变针对于每个样本的损失函数：广义Wasserstein Dice损失
扩展版的Wasserstein Dice Loss可被视为Dice Loss的一种推广形式；它特别适用于多类别分割任务，并且能够有效结合层次结构信息。
当图像像素的标注模糊或传统深度学习模型在分类任务中表现欠佳时, 广义Wasserstein Dice损失形式化地旨在促进更具语义一致性的错误. Ground-Truth类别条件概率分布P(Y)与预测的概率分布Q(Y)之间的差异.
之间的广义Wasserstein Dice损失定义为
其中
是在体素i处预测的
基于真实标签Pi计算的Wasserstein距离的基础上展开研究。其中M表示用于衡量各分类之间差异性的矩阵，在此框架下我们设定最大标签间的间距为1这一指标值，并将其视为反映背景类别与其他类别之间差异程度的关键参数。各分类间的差异性则由它们的距离值体现——值得注意的是同类别的间距普遍小于1这一特征，则主要源于它们在某些关键特征上具有较高的相似度。在此基础上我们提出了一种改进型的Dice损失函数——广义的Wasserstein Dice损失作为一种综合指标能够通过整合各类别间的相互关系来优化BraTS数据集中的标注覆盖范围及其未标注区域
2.2改变优化问题：分布鲁棒优化（DRO）
DRO 旨在通过有意识地考虑到训练数据集分布中的不确定性来增强神经网络的鲁棒性。例如，在 BraTs 数据集中，我们不确定不同数据采样中心是否存在相同的表现？这可能使得深度神经网络在训练数据集的不同子区域内表现不够理想。DRO 模块旨在通过促进 neural 网络在整个 training 数据集上的统一执行来缓解这一问题。
具体来说，DRO由最大值-最小化问题定义
式中新增了一个未知的概率向量参数q；其中均匀概率向量由数值1/n构成；KL散度定义为Dkl；其中作为正则项使用的指标是Dkl；其用于衡量参数q与均匀分布之间的差异程度；赋予每个样本等权处理的方式即为此正则项的作用。
2.3更改优化器:Ranger
Ranger被广泛应用于训练深度神经网络这一领域中的模型参数更新过程，在该领域中被认为是基于两项前沿贡献的技术融合体。
RAdam是一种增强版本的Adam优化器，在训练初期通过减少自适应学习率的方差来提升性能。Lookhead则是指数移动平均法的一种延伸方法，在加速神经网络其他优化器收敛方面表现出色。Lookhead需为深度神经网络权重维护两组值——分别快速变化和缓慢更新的变化量参数。这种设计使得Lookhead能够与各种深度学习优化器无缝集成并有效配合使用。
2.4深度神经网络的集成
本节将重点探讨如何通过多种深度学习优化算法对分割问题进行集成以改善性能。各采用不同策略的深度学习优化算法均能提供类似的分段结果。这些方法可能会有各自的偏差并导致不同类型的错误。当存在这种差异时，在集成多模型时可使选择不同优化方法所带来的不一致性趋于平均。
本文采用分布式鲁棒优化方法，并结合基于广义Wasserstein距离的Dice损失函数以及Ranger（假设为Adam optimizer或其他特定优化器）等技术手段，在提升nnUnet模型在分割任务中的平均性能及抗干扰能力的同时实现最佳分割效果。这三者具有协同作用，在整合多个神经网络模型时能够有效提升整体性能表现。