用于病理图像诊断的跨尺度多实例学习|文献速递-基于深度学习的医学影像分类，分割与多模态应用

Title

题目

Cross-scale multi-instance learning for pathological image diagnosis

用于病理图像诊断的跨尺度多实例学习

01

文献速递介绍

该领域现已成为诊断炎症性肠病（如克罗恩病）的标准参考依据（Gubatan等,2021；Yeshi等,2020）。临床病理学家通常依赖显微镜观察多尺度形态特征（Bejnordi等,2017），这一工作量较大的方法在实际操作中面临诸多挑战。随着全片数字化技术和深度学习技术的快速发展，在数字病理学领域中借助计算机辅助手段进行临床诊断的应用前景日益广阔（Kraszewski等,2021；Con等,2021；Kiyokawa等,2022；Syed和Stidham,2020）。然而，在现有的监督式深度学习系统中对图像进行像素级或块级标注所导致的计算开销仍然较大（Hou等,2016；Mousavi等,2015；Maksoud等,2020；Dimitriou等,2019）。为了提高基于弱标注图像（如病人级别的诊断数据）的诊断准确性，在数字病理学领域中逐渐兴起了一种称为多实例学习（MIL）的方法论（Wang等,2019；Skrede等,2020；Chen等,2021；Lu等,2021b,a）。例如，在DeepAttnMISL方法中通过将图像分割为不同的"包"来进行多尺度特征建模与聚合处理以实现病人级别的诊断任务

Aastract

摘要

In digital pathology, the analysis of high-resolution whole slide images (WSIs) across multiple spatial scales presents a substantial hurdle. Multi-instance learning (MIL) is a commonly used approach for handling high-resolution imaging by assigning class labels to collections of smaller image patches, i.e., groups of localized features within an image. However, this process is typically carried out at a single magnification level (e.g., 20×), neglecting the crucial inter-scale information that is essential for accurate diagnosis by human pathologists. In this research, we introduce a novel cross-scale MIL algorithm designed to explicitly integrate multi-scale information and inter-scale relationships into a unified network architecture for diagnostic purposes. The study's contributions are as follows: (1) A new cross-scale MIL (CS-MIL) algorithm that effectively combines multi-scale data with inter-scale relational patterns; (2) The creation and release of a benchmark dataset featuring scale-specific morphological features, along with visualization tools for exploring differential cross-scale attention mechanisms; and (3) Demonstration of enhanced performance on both internal and public datasets using our simplified cross-scale MIL methodology.

研究高分辨率WSI图像时，在数字病理学中不同层次信息的综合是一个关键挑战。多实例学习（MIL）作为一种广泛应用的方法，在识别多个图像块集合所属类别方面表现出色。然而这种方法通常仅关注单一放大倍数下的细节，并未能有效整合不同层次的信息——对于诊断具有重要意义。在本研究中我们提出了一种新颖的跨尺度多实例学习算法 明确地将跨尺度关系整合到单一MIL网络中 用于提高病理图像诊断效果。文章贡献主要体现在以下三点：(1) 提出了一个创新性的跨尺度多实例学习算法 CS-MIL 该算法能够有效地融合多尺度特征；(2) 创建并发布了一个新的具有标度特异形态学特征的数据集 该数据集特别适用于评估跨尺度注意力机制的表现；(3) 通过实验验证我们的方法不仅在内部分类任务上表现优异 而且在公开基准数据集上也取得了令人满意的性能

Method

方法

我们提出的CS-MIL管道在图2.c中进行了详细展示。我们提出了一种基于注意力机制的早期融合范式，在 holistic 意义上捕捉各尺度之间的关系。首先，在WSIs中提取具有相似中心坐标但来自不同尺度的块，并将其联合排列。随后通过自监督模型提取这些块中的表型特征信息。接着对每个WSI应用基于局部特征的聚类分析过程，则将这些表型模式分配到每个MIL袋中。接下来，在多尺度和多聚类设置下执行交叉尺度的关注机制融合过程以聚合特征；最后生成跨尺度关注图用于人类视觉检查

我们提出的CS-MIL总体流程如图2.c所示。

我们开发了一种基于注意力机制的早期融合模式旨在全面捕捉不同尺度间的关系首先我们从全组织切片图像（WSIs）中获取具有相似中心坐标但大小不同的图像块接着通过自监督学习模型提取各图像块的表型特征随后我们为每个全组织切片图像实施基于局部特征的空间聚类分析将表型模式分配到每个多实例学习（MIL）单元中之后我们运用跨尺度注意力引导机制进行多尺度多聚类特征融合最后所得结果即为跨尺度注意力图供人工观察

Conclusion

结论

In this study, we present a novel cross-scale machine intelligence (MIL) strategy that effectively unites multi-scale features with inter-scale knowledge. Additionally, the proposed method employs cross-scale attention scores to generate scale-specific importance maps, enhancing the interpretability and comprehensibility of the CS-MIL model. Our experimental and simulated findings demonstrate that the proposed approach outperforms existing multiscale MIL benchmarks. This visualization technique of cross-scale attention produces scale-specific importance maps, potentially assisting clinicians in interpreting image-based disease phenotypes. This contribution underscores the potential of cross-scale MIL in advancing digital pathology research and stimulates further investigation in this domain.

在我们的研究工作中,我们开发出一种创新性的跨尺度多实例学习（MIL）方法,这种技术成功地融合了多层次特征以及它们之间的关联.此外,我们通过构建跨尺度注意力分数来生成各个层次的重要性分布,从而显著提升了CS-MIL模型的可解释性和易懂性.实验结果表明,这种方法较现有的多尺度MIL基准具有更好的性能表现.同时,通过可视化技术展示了不同层级的重要度分布,这有助于临床专家更直观地理解基于图像的数据表征.这项突破性进展不仅凸显了跨尺度MIL技术的优势,也为该领域的发展指明了新的方向

Results

结果

Table 5 reports the bag-level classification performance across two toy datasets. Through extensive experiments, our method effectively distinguishes unique patterns at various scales. The figure illustrates cross-scale attention maps at both instance and multiple scale levels. For the Micro-anomaly dataset, our approach successfully emphasizes positive regions within corresponding areas at a magnification factor of 20×. In contrast, when analyzing the Macro-anomaly dataset, we observe that instance attention identifies elliptical patterns rather than circular ones, achieving higher scores of 5×. The boxplots on the right panel depict the distribution of attention scores across various scales, providing empirical evidence for our cross-scale attention mechanism's effectiveness. Furthermore, this mechanism offers promising avenues for future work, particularly in leveraging AI to guide knowledge exploration through pathological image analysis, distinguishing our approach from existing methods.

实验结果表明，在两个玩具数据集上进行的包级分类任务中

Figure

图

Fig. 1. Multi-scale awareness. The diverse structural patterns observed across tissue samples at varying resolutions necessitate human pathologists to thoroughly inspect biopsy samples at multiple scales within a high-magnification whole-slide image to ensure accurate identification and analysis of various morphological features associated with disease diagnosis.

图1. 多尺度感知

Fig. 2. 多尺度MIL设计. a._ 前人的研究并未考虑到不同分辨率之间存在的相互关系._ b._ 我们提出的方法能够识别出关键区域，并利用交叉尺度注意力图对跨尺度特征进行融合以实现病理图像诊断._ c._ 交叉尺度注意力机制被用来整合带不同权重的跨尺度特征._ 来自不同集群的跨尺度表示被连接起来用于病理分类._

图 2. 多尺度 MIL 设计。
a. 忽略了不同分辨率间的相互关系。
b. 我们的解决方案利用跨尺度注意力机制识别关键区域，并通过加权融合不同比例特征构建统一表征以辅助病理图像诊断。
c. 跨尺度注意力机制整合来自不同簇的多模态特征以实现病理分类。

_Fig. 3 shows ROC curves and PR curves for all baseline models and our proposed model, accompanied by their respective AUC scores and AP scores. The results demonstrate that our model incorporating cross-scale attention achieved superior performance compared to the baseline models across both evaluation metrics.]

图 3. ROC 曲线与 AUC 得分及 PR 曲线与 AP 得分。该图表详细说明了基线模型与所提出的模型在受试者工作特征（ROC）曲线上以及精确率-召回率（PR）曲线上具体的表现情况，并给出了相应的曲线下面积（AUC）得分及平均精度（AP）得分数据。结果显示，在两个关键指标上所提出模型的表现更为出色。

The figure illustrates cross-scale attention maps generated by our proposed model for a CD WSI. The 20× attention map emphasizes chronic inflammatory infiltrates, while the 10× map focuses on crypt structures.

该可视化图展示了所提出的模型生成的跨尺度注意力机制在CD全切片图像（WSI）中的表现。20倍放大后的注意力图能够突出显示慢性炎症浸润区域，在10倍放大下则集中关注了隐窝结构这一细节特征。

_Fig. 5. Two toy dataset. This figure illustrates two toy datasets used to assess the functionality of the cross-scale attention mechanism. In the micro-anomaly dataset, the white cross pattern is exclusively observable at magnification levels of 20×. In the macro-anomaly dataset, abnormal ellipses are readily identifiable at magnification levels of 5×.]

图 5 展示了两个玩具数据集。该图表展示了两个玩具数据集,用于评估跨尺度注意力机制的作用。在微观异常的数据集中,白色十字图案仅在20倍放大后可见；而是在宏观异常的数据集中,椭圆形异常特征易于通过5倍放大观察到

_Fig. 6. Results for toy datasets This figure displays attention maps at both per-instance level and multiple scales. In the Micro-anomaly dataset, the instance attention generates higher normalized attention scores for positive regions within their corresponding regions scaled up by 20 times. Similarly, in the Macro-anomaly dataset, the instance attention distinguishes ellipses with significantly higher normalized attention scores compared to circles scaled up by 5 times. Furthermore, the box plots on the right panel illustrate the distribution of normalized attention scores across different scales, providing further evidence of the robustness of the cross-scale attention mechanism in producing consistent and diverse normalized attention scores across various scales.]

图 6. 玩具数据集结果。该图表呈现了实例级别的和多尺度的关注力分布情况。对于微观异常数据集而言，在20×放大倍数下对应的正区域通过实例注意力产生了较高的关注度值；而同样地，在宏观异常数据集中，则是在5×放大倍数下识别出椭圆形特征并将其对应位置赋予较高关注度值（而非圆形）。右侧子图中的箱线图进一步展示了不同缩放程度下的关注度分布情况，并验证了跨尺度关注机制能够有效地生成不同层次的关注度评分以提升模型性能

Table

表

Table 1Classification performance on two dataset.

表 1 两个数据集上的分类性能

COMPARISON OF DIFFERENT FUSION STRATEGIES IN THE MULTI-SCALE PARADIGM

表 2 不同融合策略在多尺度范式下的比较

Tabellen 3 Lernsettings mit der Klassifikationsleistung auf zwei Datensätzen

表 3 不同学习设置在两个数据集上的分类性能

Table 4The details of two toy datasets.

表 4 两个玩具数据集的详细信息。

Table 5Classification performance on two toy dataset.

表 5 两个玩具数据集上的分类性能。

Table 6Model complexity

表 6 模型复杂度