《基于集成Transformer的多实例学习预测子宫内膜癌和结直肠癌的病理亚型及肿瘤突变负荷》|文献速递-生成式模型与transformer在医学影像中的应用

Title

题目

Ensembles of transformer-based multiple instance learning models are employed for predicting types of pathological findings and tumor-specific mutation load from whole-slide histopathological images of endometrial and colorectal cancers.

《以集成Transformer模型为基础的研究路径下分别针对子宫内膜癌与结直肠癌进行诊断》

01

文献速递介绍

尽管存在许多具有潜力的临床研究数据，在临床上仍仅能有效应用于少数癌症类型。目前，在不同类型的癌症病例中进行评估约有20%左右的病例能够获得预期的效果。然而，并非所有患者都能获得预期的效果——其中一些患者可能会出现严重的不良反应。因此亟需开发能够预测患者的治疗反应的生物标志物。这对于当前的临床治疗和该领域的进一步进展至关重要（Jones等, 2020）。

DNA错配修复系统（MMR）能够识别并修复DNA复制过程中的插入、缺失以及碱基错配等问题（Jiricny, 2006）。这些缺陷主要由四个关键蛋白中的一个或多个发生失活所致：MutL同源物1（MLH1）、编码MutS同源物2（MSH2）、编码MutS同源物6（MSH6），以及编码后减数分配增加2号蛋白（PMS2）。错配修复缺陷（dMMR）通常表现为遗传性或获得性的散发性突变模式，并导致两种主要类型的DNA突变：全基因组范围内的错义突变以及微卫星区域长度的变化（Hewish等人, 2010；Vilar和Gruber, 2010）。dMMR最初在结直肠癌中被发现，并且也广泛见于其他类型的肿瘤中，如子宫内膜癌（EC），这类癌症通常表现出dMMR特征（Walk等人, 2020）。dMMR与微卫星不稳定性（MSI）检测已被证实可用于预测PD-1抑制剂等特定免疫治疗靶标的反应活性。Le等人推测PD-1阻断剂在CRC患者中的疗效与其MMR状态密切相关，并因此启动了一项二期临床试验研究计划，在接受dMMR诊断或功能正常情况下的肿瘤患者中评估该药效。此外，在非CRC患者群体中也观察到较高的一般总反应率（ORR），其中包括EC患者的群体显示显著优势

肿瘤突变负荷（TMB）是衡量体细胞癌变程度的标准,通常以每百万碱基对突变频率表示。值得注意的是,尽管TMB与dMMR和MSI相关,但它们之间并不完全一致;大多数MSI-H肿瘤具有较高的TMB值,但并非所有高TMB肿瘤都属于此类型（Alexandrov等,2013）。此外,TMB还被证明是预测免疫检查点抑制剂反应的重要指标,适用于多种癌症类型。这一发现表明,TMB可作为识别最适合免疫治疗患者的癌症亚群的重要标志,而低TMB患者的反应能力较差。这些研究结果凸显了TMB作为个体化癌症治疗反应预测生物标志物的独特潜力（Goodman等,2017）。

Aastract

摘要

In endometrial cancer (EC) and colorectal cancer (CRC), along with microsatellite instability, the genomic biomarker known as tumormutational burden (TMB) has increasingly garnered clinical attention as a potential tool for identifying patients who might respond to immune checkpoint inhibitors. High TMB is characterized by a significant number of mutated genes that encode aberrant tumor neoantigens, and it is associated with enhanced responses to immunotherapy. Consequently, a subset of EC and CRC patients linked to high TMB may have an increased likelihood of benefiting from immunotherapy. The measurement of TMB has traditionally relied on methods such as whole-exome sequencing or next-generation sequencing, which present challenges in terms of cost and accessibility for widespread clinical application. Therefore, there remains a pressing need for an effective, efficient, low-cost, and user-friendly solution to assess the TMB status in EC and CRC patients. This study introduces an innovative deep learning framework named Ensemble Transformer-based Multiple Instance Learning with Self-Supervised Learning Vision Transformer feature encoder (ETMIL-SSLViT), designed to directly predict pathological subtypes and TMB statuses from H & E-stained whole-slide images (WSIs) in EC and CRC patients. This tool not only aids in pathological classification but also supports personalized treatment planning for these cancers. The framework was rigorously tested on two independent cancer cohorts: an EC cohort comprising 918 histopathology WSIs from 529 patients and a CRC cohort containing 1495 WSIs from 594 patients sourced from The Cancer Genome Atlas. Experimental results demonstrate that the proposed methods achieve outstanding performance across both cancer datasets, outperforming current state-of-the-art approaches in subtype classification and TMB prediction. Additionally, Fisher’s exact test corroborates the strong association between the model predictions and actual cancer subtypes or TMB statuses (𝑝 < 0.001). These findings underscore the potential of the proposed methods to enhance personalized treatment decisions by accurately predicting both EC and CRC subtypes along with their respective TMB statuses, thereby optimizing immunotherapy strategies for these cancers.

在子宫内膜癌（EC）和结直肠癌（CRC）中除了microsatellite instability（MSI）之外肿瘤突变负荷（TMB）逐渐成为一个备受关注的基因组生物标志物可用于临床判断哪些患者可能从免疫检查点抑制剂中获益具有显著突变频率的是携带大量突变基因的肿瘤类型这些基因编码异常肿瘤抗原并且通常预示着更好的免疫治疗效果因此部分高TMB的EC和CRC患者可能具备更高的免疫治疗接受度为了提高诊断效率减少操作成本并使检测技术更加实用亟需开发一种兼具高效性低成本和易获取性的诊断工具以区分EC和CRC患者的TMB状态

在本研究中, 我们开发了一种深度学习框架, 称之为集成Transformer的多实例学习与自监督学习视觉Transformer特征编码器（ETMIL-SSLViT）。该框架基于EC和CRC患者的H&E染色全切片图像（WSI）, 直接预测其病理亚型及TMB状态, 对此具有重要的临床应用价值。我们通过来自TCGA平台的两个独立癌症队列进行评估, 分别获取了918张EC组织病理切片WSI样本及529名患者数据, 同时收集了1495张CRC组织病理切片WSI样本及594名患者信息。实验结果显示, 所提出的模型在癌症亚型分类任务上表现优异, 同时对于TMB状态预测也展现出显著优势; 与现有七种先进方法相比, 该模型在两个癌症数据集上的性能指标均超越其上限值（SOTA）。通过费舍尔精确检验分析发现, 所提模型预测结果与其对应的临床病理学分类结果显著相关（𝑝 < 0.001）。这些具有潜力的研究成果表明, 通过精准预测EC与CRC患者的病理学亚型及其TMB状态, 可为个性化治疗方案的确立提供可靠依据; 这一发现不仅有助于优化免疫治疗计划的具体实施流程, 而且对提升患者预后管理质量具有重要意义

Method

方法

注

注

注

本研究开发了一种基于集成Transformer的多实例学习与自监督学习视觉Transformer特征编码器（ETMIL-SSLViT），旨在直接从子宫内膜癌（EC）和结直肠癌（CRC）患者的H&E染色全切片图像（WSI）中预测病理亚型和肿瘤突变负荷（TMB）状态。所有图像数据均来源于TCGA平台获取。在数据预处理方面，我们参考了Faryna等人2024年的研究工作，并对当前最先进自动增强算法进行了系统性评估。结果表明，在组织病理学领域中RandAugment（Cubuk等人于2020年提出）展现出显著的优势；因此，在本研究中采用了包含与不包含数据增强的RandAugment预处理方案

基于

在此基础上，我们开发了一种基于Transformer架构的多示例学习（Multi-Instance Learning, TMIL）模型，并在图1(d)中进行了具体展示。该模型旨在针对传统多示例学习方法通常假设各示例之间相互独立且遵循相同分布的问题进行改进，在现有研究中存在对样本间潜在关联性未被充分考虑的情况。在我们的模型中将每个光子晶体成像实验（Widefield Scanning Interferometry, WSI）被视为一个集合体或"袋子" ，而从每个WSI中提取出的小块图像区域则被视为具体的"示例"或"成员" 。与传统的多示例学习方法不同，在我们的模型中使用了Transformer架构中的自注意力机制来建模各示例间的相互作用关系，并赋予每个具体示例可变程度的关注权重系数以更好地捕捉样本间的依赖性和相互作用特性

改写说明

研究表明，在癌症亚型分类及TMB预测方面我们提出的方法显著优于现有最先进方法的七种。如图1和图2所示

Results

结果

Our framework was evaluated on two different cancer cohorts,including 918 histopathology WSIs of 529 EC patients and 1495 WSIsof 594 CRC patients from TCGA, for both prediction of cancer subtypesand TMB status (see Section 4.1 and Fig. 4). The evaluation wasconducted in three parts. Firstly, we compared the proposed methodsin cancer subtyping and TMB prediction in EC and CRC cohorts withseven SOTA DL methods, which have achieved remarkably success inthe field of computational pathology, including ClassicMIL (Campanellaet al., 2019), Wang et al. (2023d), Improved_InceptionV3_MS (Wanget al., 2023e), CLAM (Lu et al., 2021b), TOAD (Lu et al., 2021a), TransMIL (Shao et al., 2021), and MRAN (Lu et al., 2021a). All the resultsshow that the proposed methods achieved excellent performances andoutperformed seven SOTA methods in cancer subtype classification andTMB prediction on both cancer datasets (see Section 4.2, Tables 1 and2).Section 4.2.7 demonstrates the interpretability of the proposedmethod in application of TMB prediction in EC and CRC samples. Ourproposed models predict slides by identifying and focusing on regionsof WSIs that can predict whether the tumor has a high mutationalburden (high attention score) and disregarding regions with low relevance for TMB prediction in two datasets, including CRC and EC sampleslides, respectively (see Fig. 5(a) and (b)). Importantly, our proposedmodels are able to differentiate TMB traits using weakly supervisedlearning with slide-level labels, despite not getting specific pixel- orpatch-level annotation during training.In Section 4.3, six ablation studies were performed to examinethe efficacy of two components in the proposed ETMIL framework,including comparisons of different (1) model assessment metrics in theproposed T-OMF module (see Table 3), (2) feature encoders to buildSelf-Supervised Learning Vision Transformer Feature Encoder Module(SSLViT-FEM) (see Table 4), (3) SSL-based backbones (see Table 5), (4)optimizers for model training (see Table 7), (5) loss functions for modeltraining (see Table 8), and (6) assessment of the proposed methodcapacity for generalization using five different datasets (see Table 9).

我们对两个独立的癌症队列进行了评估，在TCGA平台下分别考察了529例EC患者及其组织病理切片中的918张WSI以及594例CRC患者及其WSI共1495张切片样本数据集的基础上展开了分析研究

第4.2.7节探讨了我们在EC及CRC样本中TMB预测的可解释性。我们的研究方法通过识别关注WSI中的特定区域来判断肿瘤是否存在显著突变负担（即高注意力得分为其特征），同时忽略了对TMB预测无显著关联的区域。研究结果表明，在CRC及EC样本中的表现良好，并附图5(a)及(b)以供参考。值得指出的是，在不采用像素级或块级标注的情况下，我们的研究仍可通过弱监督学习有效区分TMB特征。

在第4.3节部分中开展了一系列六项消融实验，并对该框架中的两个核心组件的有效性进行了系统性评估。具体而言：第一，在T-OMF模块内部对各种模型评估指标进行了对比分析，并参考了相关结果展示在表3中；第二，在构建自监督Vision Transformer特征编码器模块的过程中进行特征编码性能对比分析，并将详细结果列于表4；第三，在基于SSL协议下的骨架性能对比分析部分可参考表5数据；第四，在优化算法对模型训练的影响程度对比分析方面，请查看表7内容；第五，在损失函数对训练效果影响程度对比分析方面，请参考表8数据；第六，在通过五个不同数据集验证所提方法具有良好的泛化能力时，请查阅表9结果展示

Figure

图

_Fig. 1 Overview of the proposed system architecture named ETMIL-SSLViT which integrates a Vision Transformer-based Multiple Instance Learning framework with self-supervised learning capabilities

图1. 基于集成Transformer架构设计的多实例学习结合自监督学习的方法概览：(a) 视觉补丁划分模块。 (b) 基于自监督学习的视觉Transformer特征编码器模块。 (c) 整合框架与双阶段优化机制：包括第一阶段优化机制、早停机制以及第二阶段优化机制。(d) 基于Transformers技术实现的多实例学习方案。

The figure illustrates the Area Under the Receiver Operating Characteristic curves, abbreviated as AUROC curves, which are utilized to evaluate three aspects: (a) classification of EC subtypes into aggressive versus non-aggressive, (b) prediction of TMB in the aggressive EC subtype, and (c) prediction of TMB in the non-aggressive EC subtype.

图 2展示了受试者的诊断特征曲线下的面积评估结果：(a) 子宫内膜癌亚型根据组织侵犯程度分为侵袭性和非侵袭性两类；(b) 在侵袭性子宫内膜癌亚型中对肿瘤突变负荷进行预测；(c) 对非侵袭性子宫内膜癌亚型中肿瘤突变负荷进行分析

Figure 3 illustrates AUROC curves below the ROC curves for evaluating classification performance between (a) mucous and non-mucous CRC subtypes, (b) TMB estimation in the non-mucous CRC subtype, and (c) TMB estimation in the mucous CRC subtype.

图 3. 用于评估受试者的工特征曲线下面积（AUC-ROC曲线）：(a) CRC亚分型间的区分（以黏液性和非黏液性为例），(b) 非黏液性CRC亚分型中基于TMB的预测模型构建,(c) 黏液性CRC亚分型中基于TMB的诊断策略

Fig. 4 presents the data details for two categories of cancer datasets. Specifically, it illustrates (a) TCGA's EC group and CRC group within this dataset, (b) the variety in image representation across samples, (c) subtype categorization based on molecular features, (d) pixel-based length distribution segmented by tumor size, (e) racial distribution among patients, and (f) age-specific demographic breakdown.

图 4. 两种癌症数据集的数据概览。(a) TCGA子宫内膜癌(EC)系列与结直肠癌(CRC)系列的数据集；(b) 在该研究中所涉及的数据集中展示了丰富的图像多样性。(c) 展示了各亚分型及其对应的特征分布。(d)) 通过探究不同区域的像素尺寸变化及其对模型性能的影响, 进一步揭示了空间分辨率对诊断效果的关键作用。(e)) 分析了不同种族群体在研究中的占比及其对结果的影响。(f)) 研究了不同年龄段人群在样本中的比例及其对整体结果的影响。

Fig. 5. Model attention heatmaps in prediction of (a) CRC TMB and (b) EC TMB.

图 5. 模型在预测 (a) CRC TMB 和 (b) EC TMB 时的注意力热图。

Table

表

Table 1Evaluation in Cancer Subtyping and TMB prediction of EC.

表1. 子宫内膜癌（EC）的癌症亚型分类和肿瘤突变负荷（TMB）预测评估.

Table 2Evaluation in Cancer Subtyping and TMB prediction of CRC

表 2 CRC（结直肠癌）亚型分类和TMB预测的评估

Table 3.0 presents a quantitative assessment to evaluate and contrast the model selection mechanisms involved in the classification task for EC subtype identification.

Table 3 定量评估：用于比较EC亚型分类中模型选择机制的性能。

Table 4 Analysis of the Effectiveness of Novel Approaches Using Different Feature Extraction Techniques in EC Samples.

表 4 使用不同特征提取方法在 EC 样本中的性能比较。

A Table 5 Analysis of the proposed framework's performance in comparison with different types of SSL-based backbone networks for the categorization of EC subtypes.

表5构建了框架，并与基于自监督学习（SSL）的各种骨干网络在EC亚型分类任务中进行了性能对比。

Table 6Running time examination of the proposed framework, which incorporates multiple SSL-based backbones.

表6采用不同自监督学习方法下的主干网络性能评估

Table 7 Comparative Analysis of the introduced technique in categorization of EC subtype categories.

表 7 提出方法与不同优化器在EC亚型分类中的比较。

Table 8.0Performance Analysis: Comparison and Evaluation of the introduced approach against various loss functions in the classification into EC subtype categories.

表 8 提出方法与不同损失函数在EC亚型分类中的比较。

Table 9: Evaluation of the investigated approaches across five distinct source sites for classifying the EC subtypes.

表 9 提出方法在五个独立数据源上的评估，针对EC亚型分类。