Image Synthesis in Multi-Contrast MRI With Conditional Generative Adversarial Networks—论文解读

Image Generation in Multi-Contrast MRI Utilizing Conditioned Generative Adversarial Networks

• 文章总体框架及创新点介绍
• 摘要部分
• 综述
• 研究方法阐述
• 数据集描述
• 数据预处理与图像对齐过程
• 网络架构设计与训练过程说明
• 对比基准模型设定
• 实验分析框架
  • 基于生成对抗网络进行模型对比分析
    • 与SOAT合成方法进行对比分析
    • 进行光谱密度分析评估
    • 分析模型泛化能力表现
    • 评估模型抗噪声能力水平
  • 代码实现部分说明

文章概述及亮点

1

2

3

4

摘要

为了采集具有多个不同对比度（如T1、T2、T1加权与FAILR）的同一解剖结构的图像，在确保检测到足够的细节信息的同时可显著提升MR检查中的可用诊断数据种类。然而由于扫描时间受限以及可能存在噪声干扰与伪影影响等原因这使得获取某些特定对比度的数据变得困难。在这种情况下生成未知或损坏对比度图像有助于提升诊断效果。对于多对比合成目前主要采用非线性重构与确定性神经网络来学习源与目标图像之间的非线性强度变换关系但这种做法却会导致生成图像细节丢失的问题为此我们提出了一种基于条件生成对抗网络的新方法该方法通过对抗性损失机制有效保留中频细节并通过多像素级感知损失与循环一致性损失优化策略提升了整体合成性能同时利用相邻截面的空间信息进一步增强图像质量表现

介绍

磁共振成像（MRI）由于其能在软组织中捕捉到的对比度的多样性，在临床应用中得到了广泛的应用。定制的MRI脉冲序列能够在成像相同解剖结构时产生不同的对比度。例如，T1加权的大脑图像清楚地描绘了灰质和白质组织，而T2加权的图像描绘了来自皮质组织的液体。反过来，同一受试者获得的多对比度图像增加了临床和研究研究中可用的诊断信息 。然而，考虑到长期检查和不合作患者的费用，尤其是在儿童和老年人群中，可能无法收集到完整的对比数据。在这种情况下，最好是获得扫描时间相对较短的对比度。即使如此，获得的对比度的一个子集也可能被过多的噪声或伪影破坏，这些噪声或伪影禁止随后的诊断使用。此外，队列研究通常在成像方案和获得的具体对比方面显示出显著的异质性。因此，从其他成功获得的对比度图像合成缺失或损坏的对比度图像的能力，通过增加诊断相关图像的可用性，以及改进诸如配准和分割等分析任务，对增强多对比度MRI具有潜在的价值。
近年来，医学图像的跨域合成在医学成像领域得到了广泛的应用。给定一个被摄体在x（源域）中的图像x，目的是准确估计同一被摄体在y（目标域）中的各自图像。两种主要的跨模态合成方法是基于配准的方法和基于强度变换的方法 。然而，基于配准的方法强烈依赖于源域图像与待转换图像之间的几何对应关系。基于强度变换的方法虽然不依赖于几何对应关系，但它也有自己的局限性。
最近，一个端到端的核磁共振图像合成框架被提出，即基于深度神经网络的Multimodal（ Multimodal MR synthesis via modality-invariant latent representation ）。但它使用的平均绝对误差损失函数在捕捉更高空间频率的误差方面表现不佳。
本文提出了一种基于生成性对抗网络（GAN）结构的多对比MRI图像合成新方法。对抗性损失函数最近已被证明可用于各种医学成像应用，并能可靠地捕获高频纹理信息。在跨模态图像合成领域，重要的应用包括CT到PET合成、MR到CT合成、CT到MR合成等等。在这一成功的启发下，我们引入条件GAN模型来从单个模态上合成不同的对比图像，并在正常人和胶质瘤患者的多对比脑部MRI上进行验证 。为了提高精度，该方法还利用了三维影像中相邻横截面的相关信息 。当多对比度图像直接在空间上进行了配准（pGAN）和当它们未进行配准（cGAN）时，我们提供了两种实现方式。对于第一种情况（已配准），我们训练在合成图像和真实图像（如下图所示）之间具有逐像素损失和感知损失的pGAN。对于第二种情况（未配准），我们在用循环一致性替换逐像素损失后训练cGAN ，循环损失增强了从合成的目标图像中重建原始图像的能力（如下图所示）。对正常人和胶质瘤患者的多对比度MRI图像（包括T1和T2加权）进行了广泛的评估。与目前最先进的方法相比，该方法在多对比度磁共振成像合成中获得了定性和定量的精度增强。

用于已配准图像合成的pGAN模型框架

用于未配准的图像合成的cGAN模型示意图，基于cycleGAN的框架。

方法

对于基于pix2pix实现的pGAN模型中，在观察到生成器可能会忽视潜在编码（即噪声）输入的情况下

数据集

1

2

3

数据归一化与图像配准

图像数据的强度归一化到[0,1]。
使用FSL进行图像配准。

网络训练

两种网络在训练流程上存在显著差异：
对于pGAN模型而言，在考虑其特点时注意到相邻切片间较强的相关性。
随后作者尝试将k=3、k=5以及k=7三种不同的图像数量作为输入供pGAN模型参考。
其输出结果表明？
具体来说，在验证集上测试后选取了\{10, 100, 150\}三个备选值作为候选方案。
这些候选方案经过评估后最终确定p_{\text{cycle}}=\lambda_{\text{cycle}}=1.2, s_{\text{content}}=s_{\text{style}} = 2, \beta_1 = 0.9, \beta_2 = 0.999。
这些设定均为固定值且未做进一步优化。
此外实验还采用了单显卡配置并行计算技术以提升效率。
为了确保数据完整性所有实验均基于独立重复运行三次的基础上取平均值计算统计结果。

用于比较的模型

采用了两种不同的SOAT MRI合成方法。用于对比分析的两个模型分别基于相同的训练数据集与测试数据集构建。

实验

基于GAN的模型比较

我们对多对比度图像配准方向对合成质量的影响提出了疑问。特别地，在生成多个配准数据集时，默认将T2加权图像配准到T1加权图像上（产生T2#），而另一种情况则是将T1加权图像配准到T2加权图像上（产生T1#）。除了关注配准方向外，我们还考虑了两种可能的合成方式（基于T1的T2；基于T2的T1）。对于每种情况下，pGAN和cGAN都基于两种不同的输入方式进行训练：一种仅接收单个横截面信息作为输入；另一种则接收3、5或7个连续横截面作为输入参数。这一过程总共产生了32个pGAN模型和12个cGAN模型。值得注意的是，在单横截面cGAN中包含两个生成器，并训练了一个能够综合两个方向进行合成的模型；而对于多截面cGAN，则需要分别训练不同模型来确定最优的合成方向。针对BRAT序列的具体情况而言，则需要分别考虑两种不同的初始条件：a）从T1→T2；d）从 T2→ T1两种情况都需要被纳入分析范围。在此基础上分别应用了k=3的不同变体版本以及k=1的标准版本。

和SOAT合成方法比较

将Replica模型与Multimodal模型纳入对比分析，在相同的训练数据集与测试数据集上进行性能评估，并以PSNR值与SSIM指数作为最终的性能基准

光谱密度分析

然而PSNR和SSIM通常用于整体图像质量评估。尽管这些方法能够反映较低频信息的质量特征,但它们主要关注由较低的空间频率主导的图像特征,而忽略了较高频信息的表现情况。因此,为了更全面地评估合成图像的质量,我们采用了光谱密度相似性（SDS）作为评价指标。SDS的核心概念与文献[66]中描述的误差谱图具有相似性,其中误差分布结果基于跨空间频率域的分析。具体而言,我们将合成与参考图像转换到k空间域后,按照以下四个频段进行划分:低频段(0 - 25%),中低频段(25 - 50%),高频段(50 - 75%)以及高freq段(75 - 100%)的最大值范围内的spatial frequencies.在每个频段内,通过计算对应位置上的样本向量之间的Pearson相关系数来确定SDS值.特别地,为了避免背景噪声对测量结果的影响,我们在进行质量度量计算之前将背景区域的数据置零处理以消除其干扰影响

泛化性

为了检验该方法的普适性，在IXI数据集上进行了pGAN、cGAN、Replica以及mulmodal的训练，并评估了训练后的模型性能。

抗噪性

为了评估图像去噪综合性能（即去除混合噪声效果），我们采用含噪样本（即带有人工叠加噪声的数据集）训练了基于生成对抗网络构建的pGAN模型以及多模态融合架构的Multimodal模型。

代码

基于Pytorch开发的pGAN和cGAN源码可单击获取