自监督图对比学习结合扩散增强用于功能性磁共振成像分析和脑部疾病检测|文献速递-视觉大模型医疗图像应用

Title

题目

Self-supervised graph contrastive learning, enhanced by diffusion-based augmentation techniques, is employed for functional MRI analysis and the identification of brain disorders.

基于自监督的图对比学习融合扩散增强技术被应用于功能磁共振成像数据分析及脑部疾病检测

01

文献速递介绍

静息态功能性磁共振成像（rs-fMRI）专门用于测量静息状态下低频血氧水平依赖（BOLD）信号，在无需执行特定任务的情况下已成为神经影像学的重要工具（Shirer等人, 2015；Amemiya等人, 2016）。rs-fMRI描述的功能连接性能够捕获大脑活动模式以及关注区域之间的关系，并被越来越多地用于探索病理机制及辅助诊断大脑疾病（如重度抑郁症MDD和自闭症谱系障碍ASD）（Dai等人, 2023；Nebel等人, 2022；Mao等人, 2019；Fang等人, 2023）。随着机器学习与深度学习的进步，在fMRI生物标志物的发现与辅助检测大脑疾病方面已开发出一系列相关技术（Bondi等人, 2023；Hou等人, 2023；Hebling Vieira等人, 2021；Wang等人, 2024）。然而，在提高模型泛化性能方面，学习模型通常需要大量标注数据才能实现良好的泛化性能（Ingalhalikar等人, 2021；Cui等人, 2023；Wang等人, 2023；Weiner等人, 2013）。

自监督学习（如图对比学习）为此问题提供了一种有前景的解决方案，不需要标注数据，利用其强大的迁移能力来解决小样本问题（Fedorov 等人，2024）。图增强通常是图对比学习框架中的关键组成部分（Demirel 和 Holz，2024）。许多基于 fMRI 的对比学习研究通过窗口切片和窗口扭曲等技术增强 fMRI 时间序列，但这些方法可能破坏原始 BOLD 信号中嵌入的信息，从而影响后续的 fMRI 特征提取（Wang 等人，2022；Tang 等人，2022；Bijsterbosch 等人，2017）。一些最先进的（SOTA）图增强策略，如 AutoGCL（Yin 等人，2022）和 AD-GCL（Suresh 等人，2021）中使用的基于图神经网络（GNN）的方法，仍难以生成高质量样本，因为它们的生成器并非专门为图生成设计。扩散模型作为一种强大的深度生成模型，在图像合成、分子设计和医学数据分析等多个领域表现出色（Yang 等人，2023；Wu 等人，2024）。然而，很少有研究探讨如何基于脑功能连接网络（FCNs）实现扩散模型的数据增强，并将其与对比学习结合用于脑疾病检测。

本研究提出的方法本文提出了一种基于扩散增强的自监督图对比学习框架（GCDA），用于 fMRI 分析和脑疾病检测。GCDA 包括：预任务模型：学习通用且可迁移的 fMRI 特征。任务特定模型：微调预任务模型以适应下游任务。具体而言，预任务模型包含三个组件：图构建模块：基于 fMRI 数据构建功能连接网络/图。图扩散增强（GDA）模块：对图的边和节点进行扰动，同时保留原始 BOLD 信号的完整性，并生成高质量的增强图。图对比学习模块：通过具有共享参数的两个图同构网络（GINs）以自监督对比学习的方式提取通用 fMRI 特征。预任务模型基于无标注的 fMRI 数据进行优化，从而省去了繁琐的标注过程。任务特定模型通过调整预任务模型的参数，以监督方式适应下游任务。我们在包含 1230 名受试者的两个 rs-fMRI 数据集上评估了 GCDA 的性能，实验结果表明，GCDA 在自动诊断两种脑疾病方面优于多种 SOTA 方法。

核心内容依托于一种新型的自监督图对比学习框架，在疾病诊断领域展现出显著优势

本文其余部分安排如下：第二部分对相关研究进行综述；第一部分首先介绍研究材料，并提出方法；第四部分展示实验设计以及所得结果；详细阐述该方法的主要组成部分，并探讨其局限性；最后一部分总结全文内容。

Aastract

摘要

Resting-state functional magnetic resonance imaging (rs-fMRI) is an invasive-free imaging technique designed to investigate patterns of brain activity, and it is becoming more widely used to support automated analysis of brain disorders. Current fMRI-based learning methodologies predominantly depend on labeled data to build learning models, whereas the annotation process for such data often entails significant time and resource commitments. Graph contrastive learning presents a promising solution by leveraging data augmentation techniques for self-supervised learning in scenarios where labeled datasets are limited. However, the application of data augmentation methods in these approaches might potentially harm the original blood-oxygen-level-dependent (BOLD) signals, thereby hindering subsequent feature extraction processes. To address this challenge, we present a self-supervised graph contrastive learning framework with diffusion augmentation (GCDA) for functional MRI analysis. The GCDA framework comprises two key components: a pretext model and a task-specific model. In the pretext model phase, each brain functional connectivity network derived from fMRI data is augmented using a graph diffusion augmentation module, followed by the use of two graph isomorphism networks with shared parameters to extract features through self-supervised contrastive learning. This pretext model can be effectively optimized without requiring labeled training examples. Additionally, the graph diffusion augmentation module focuses on perturbing graph edges and nodes while preserving the integrity of BOLD signals. The task-specific model involves fine-tuning the pretrained pretext model to adapt it for downstream tasks. Experimental results from two rs-fMRI cohorts comprising 1230 subjects demonstrate that our method achieves remarkable performance relative to existing state-of-the-art techniques.

静息态功能磁共振成像（Resting-state functional magnetic resonance imaging, rs-fMRI）是一种非侵入性成像技术，在研究大脑活动模式方面具有重要作用，并在临床中逐渐被用于辅助自动化脑部疾病分析的过程中发挥着越来越重要的作用。然而，在基于fMRI的学习方法中，默认都需要耗费大量时间和资源来进行数据标注工作以构建学习模型这一前提下，当前的研究大多面临数据标注成本高昂的问题。图对比学习作为一种有潜力解决这一问题的方法，在于通过增强fMRI时间序列数据来实现自监督学习的过程；然而，在这一过程中所采用的数据增强策略可能会对原始的血氧水平依赖（BOLD）信号造成影响从而阻碍后续的特征提取工作

本研究开发了一种融合扩散增强机制的自监督图对比学习框架（Graph Contrastive Learning with Diffusion Augmentation, GCDA），旨在应用于功能磁共振成像数据分析。该框架由两个主要组成部分构成：预训练模型与任务特定模型。在预训练模型中，我们主要采用图扩散增强模块（Graph Diffusion Augmentation, GDA）对基于fMRI生成的大脑功能连接网络进行增强处理，并通过共享参数的图同构网络以自监督对比学习方式提取特征表示。值得注意的是，在预训练模型优化过程中无需依赖标注数据支持；同时GDA模块通过扰动图中的边与节点来增强数据多样性的同时保持原始BOLD信号信息完整性。随后通过对预训练模型进行微调优化获得任务特定模型以适应特定下游应用需求。实验结果表明，在包含1230名受试者的两个rs-fMRI数据集上所提出的方法较多种先进方法均展现出显著的效果优势。

Method

方法

3.1. Materials and data preprocessing

Two rs-fMRI datasets were incorporated into the experimental framework, comprising (1) the REST-meta-MDD Consortium (REST-MDD)1 and (2) the AutismBrain Imaging Data Exchange (ABIDE).2 For each dataset, we utilize three major sites from the experimental network. Specifically, the main site was employed to train a pretext model for generating neuroimaging features, while the remaining sites were used for fine-tuning this pre-trained model. The participants’ demographic and categorical details are documented in Table 1.

3.1 材料与数据预处理

在实验过程中使用了两组包含静息态功能磁共振成像（rs-fMRI）扫描的数据样本。这些数据样本来自两个不同的研究项目： resting-state meta-analytic multi-dimensional drawing dataset consortium （REST-MDD） 和 autism brain imaging data exchange （ABIDE）。针对每一组数据，在实验过程中选取了所有采集站点中的前三名。最大容量的采集站点被分配用于预训练任务模型的学习；以便提取通用的人体功能磁共振特征。剩余的小型容量站点则专注于微调优化这些预训练模型。研究中涉及的研究对象的基本资料和分类信息将在表 1 中详细列出

Conclusion

结论

本研究提出了一种基于扩散增强的自监督图对比学习框架（GCDA）用于功能磁共振成像分析。其中GCDA由预训练阶段的预模型和微调阶段的任务特定模型组成。在预训练模型中，我们首先通过扩散增强模块对每个基于fMRI生成的功能连接网络进行增强处理，并随后利用两个共享参数的图同构网络以自监督对比学习的方式提取特征。任务特定模型涉及对预训练好的预模型参数进行微调优化以适应下游任务的学习过程。实验结果表明GCDA在多个先进方法中表现更为优异。

本研究开发了一种基于扩散增强机制的自监督图对比学习框架（GCDA），该框架可应用于功能性磁共振成像（fMRI）分析。由预训练阶段的任务通用模型与微调阶段的任务专用模型组成。在预训练阶段中，首先我们利用图扩散增强模块对fMRI数据提取出脑功能连接网络，并对其进行增强处理；随后，在自监督学习框架下使用共享参数的两个图同构网络进行特征提取。在微调阶段中，则通过优化预训练所得参数来适应具体的目标任务。实验验证表明，在两个典型数据集上进行评估时发现GCDA的表现明显优于现有最先进的方法。

Figure

图

_Figure 1 illustrates an innovative self-supervised graph contrastive learning framework with diffusion enhancement techniques referred to as GCDA. This framework comprises two main components: part (a), which involves a general-purpose pretext module; and part (b), specifically tailored for specific-task oriented applications.* Within the pretext module, each fully connected network undergoes initial enhancement via the graph diffusion enhancement module before being utilized for extracting fMRI features through two graph isomorphism networks (GINs). These GINs are employed within a self-supervised contrastive learning framework. The specific-task oriented model further refines these GINs, leveraging their pre-trained capabilities from the pretext module, to effectively address downstream disease detection challenges.*

图 1展示了所提出的方法——一种扩散增强型自监督图对比学习框架(GCDA)的图形示意图,该框架包含两部分:(a)用于预训练阶段的基础架构以及(b)专为特定任务设计的模块结构.在预训练阶段,每个功能连接层(FC)先经过图扩散增强模块(GDA)进行强化处理,随后利用两个相互作用网络(GINs),通过自监督对比学习的方式提取fMRI特征.而在针对特定应用场景的任务优化模块中,我们对预训练好的GIN进行微调优化,以提升下游诊断效果.

_Fig. 2. 图形转换器网络的具体构成。(a) 图形转换器网络的整体架构。(b) 图形转换器块中的自注意力机制。通过可学习权重矩阵W_1和W_2计算得到：FILM(M^*_{1}, M_{2}) = M_{1}W_{1} + (M_{1} \odot W_{2}) \odot M_{2} + M_{2}。

图 2展示了图变换网络的详细架构。(a)该网络的整体架构描述了其基本组成。(b)该模块中的自注意力机制展示了如何处理节点之间的关系。𝐹𝑖𝐿𝑀(𝑀₁,𝑀₂)=𝑀₁𝑊₁+(𝑀₁ Wagner₂)⨀ M₂+M₂,其中 Wagner₁和 Wagner₂为可学习的权重矩阵

Fig. 3 illustrates the ROC curves and their corresponding AUC values generated by twelve distinct methods across two classification tasks: (a–b) distinguishing between MDD and HC on REST-MDD, and (c–d) differentiating between ASD and HC on ABIDE.The horizontal axes represent the false alarm rates, while the vertical axes depict the true detection rates.

图 3展示了采用12种不同方法在REST-MDD数据集上的抑郁症(MDD)与健康对照组(HC)分类以及ABIDE数据集上的自闭症谱系障碍(ASD)与健康对照组(HC)分类的ROC曲线及其对应的曲线下面积值(AUC)。该图形下方标注了横轴为假阳性率(False Positive Rate, FPR)，纵轴为真阳性率(True Positive Rate, TPR)。

Fig. 4. A visual representation of graphs generated by the GDA module at each 100-step interval during (a) the forward diffusion process and (b) the reverse denoising process.

图 4. GDA 模块在每 100 步后生成的可视化的图形表示：(a) 正向传播过程中所呈现的网络拓扑特征；(b) 反向传播过程中所呈现出的数据恢复特性。

Fig. 5展示了前10个区分功能连接的可视化结果，在两个分类实验中：(a) MDD与HC之间的分类基于REST-MDD数据集（Site20→Site 1），(b) ASD与HC之间的分类基于ABIDE数据集（Site NYU→Site UM）。

图 5 展示了基于 GCDA 方法从两项分类实验中筛选出的前 10 个具有判别力的功能连接及其可视化结果。（a）在基于 REST-MDD 数据集的研究中对 MDD（抑郁症）与 HC（健康对照组）进行了区分分析（站点编号由20至1的变化趋势）；（b）在 ABIDE 数据集中对 ASD（自闭症谱系障碍）与 HC 的区分研究中观察到显著差异性特征连接模式（站点 NYU至UM的变化路径）。

图6展示了GCDA及其三个变体（即GCDAw/oNODE、GCDAw/oEDGE和GCDAw/oT）在REST-MDD上的实验结果（即从Site 20到Site 1）

图6展示了GCDA策略及其三个改进型（GCDA无NODE、GCDA无EDGE和GCDA无T）在REST-MDD测试集合（基于站点20至1的变化）中的实验结果

Fig. 7. Results of GCDA with adjusting the number of diffusion steps (T) within the ABIDE dataset, specifically from Site NYU to Site UM.

图形 7展示了GCDA方法在ABIDE数据集（即NYU站点至UM站点）上随着扩散步数的变化而呈现的实验结果。

Fig. 8. Performance metrics of the GCDA model and its two variants, namely GCDA-SimCLR and GCDAMoCo, which employ distinct contrastive learning strategies, in distinguishing between MDD and HC classification tasks within the REST-MDD dataset, specifically transitioning from Site 20 to Site 1.

图 8展示了该方法及其两个变体——分别为 GCDA-SimCLR 和 GCDA-MoCo——在各自采用不同对比学习策略的情况下，在 REST-MDD 数据集中（其中站点 20 转换为站点 1）进行了抑郁症(MDD)与健康对照组(HC)分类性能的研究

Figure 9 presents the performance analysis of GCDA along with its two variants, namely GCDA-GCN and GCDA-GAT-with different feature encoders, compared to MDD versus HC classification within the REST-MDD framework (i.e., Site20→Site 1).

图9展示了GCDA体系及其两个分支(GCDATA-GCN和GCDA-GAT)，它们分别采用了不同的特征编码器，在REST-MDD数据集(即从站点20到站点1)上进行了MDD(抑郁症)与HC(健康对照)两类场景下的分类效果研究

Table

表

Table 1 presents the demographic information of studied subjects from two datasets. The age of participants is revealed as the mean ± standard deviation. Males and females are represented as M/F: Male/Female.

表格一：两组数据集中研究对象的人口统计资料（其中年龄以平均值±标准差表示；M/F分别代表男性和女性）

Table 2 Descriptions of fully connected layers in the Graph Transformer. 𝑋_i, 𝐸_i, 𝑌_i (i=1,2) denote: The i-th fully connected operation acting on node features, edge features, and global features in both input and output MLPs. 𝑊_i (i=1,2) represents: The i-th fully connected operation within FiLM layers.

表 2 展示了图变换器中线性变换层的具体说明。其中，在输入与输出多层感知机（MLP）中分别完成第 i 次线性变换的是节点嵌入 Xᵢ、边嵌入 Eᵢ 以及全局表示 Yᵢ（i=1,2）。W₁ 和 W₂ 分别是在 FiLM 层中执行的第一和第二次线性变换。

The experimental outcomes of Table 3 are presented for comparing MDD and HC classification approaches on the REST-MDD dataset, employing twelve distinct methods with mean ± standard deviation metrics. The best-performing models are highlighted in bold. Furthermore, the 'S→T' notation indicates that each model is pre-trained on a source domain (e.g., Site 20) and then fine-tuned on corresponding target domains (e.g., Site 1 or Site 21). An asterisk (*) signifies a statistically significant difference between GCDA and other methods.

表格 3 基于 REST-MDD 数据集展开的抑郁症 MDD 和健康对照组 HC 分类实验结果进行了评估分析。该研究采用了多种方法（以均值±标准差表示），并标记出最优性能以粗体显示。其中‘S→T’代表模型基于源域（站点20）进行预训练，并应用于目标域（站点1或站点21）。通过统计学检验表明，在GCDA方法与其他对比方法之间存在显著差异。

报告展示了使用十二种方法在ABIDE数据集上进行ASD与HC分类实验的结果。其中符号「S→T」表示模型在一个源域（NYU站点）预训练后，在目标域（UM或LEUVEN站点）进行了微调。此标记「*」则表明GCDA与竞争方法之间存在统计学显著差异。

表 4 展示了在 ABIDE 数据集中完成的自闭症谱系障碍（ASD）与健康对照组（HC）之间的分类实验结果。该研究基于该数据集设计了 12 种不同的方法（以均值±标准差为指标），并以粗体显示最佳性能指标。其中‘S→T’标记表示模型在源域 NYU 进行预训练，并在目标域 UM 或 LEUVEN 进行微调；‘∗’则表明 GCDA 方法与现有竞争方法之间存在显著统计差异。

Table 5 Examining the impact of varying trade-off factors on the GCDA approach in classifying MDD versus HC within the REST-MD framework, with optimal results highlighted in bold

表5展示了不同权重参数对GCDA在REST-MDD数据集（即站点20至站点1之间）上进行抑郁症(MDD)与健康对照组(HC)分类的表现

_Table 6 Comparative performance analysis of GCDA and GCDA-G across MDD and HC classifications in the context of REST-MDD, such as...

Site 20 →Site 1), highlighting the best results in bold.

表 6展示了GCDA 和 GCDA-G 被用于REST-MDD 数据集（表示站点 20 至 站点 1）上对抑郁症（MDD）与健康对照组（HC）的分类性能分析，并采用了加粗显示的方式突出最佳结果。

Table 7 Performance of GCDA and four recent state-of-the-art fMRI analysis techniques in MDD vs. HC classification on the REST-MDD dataset (i.e., Site 20 → Site 1), with results highlighted in bold.

表7比较了GCDA方法与其他四种最新的fMRI分析方法，在REST-MDD数据集（即站点20至站点1）的基础上应用于MDD与HC的分类任务中，并将最佳性能指标用粗体标出。

Table 8 在比较MDD与HC分类任务时，在REST-MDD数据集上评估了GGM、无预训练以及GCDA的表现.

表8展示了高斯图模型（GGM）、未预先训练的方法（No Pre-train）以及GCDA方法在基于REST-MDD数据集对抑郁症（MDD）与健康对照（HC）进行分类时的表现分析