多模态医学数据预测疾病

本研究的研究题目为《基于Transformer的深度学习网络用于新辅助化疗后胃癌患者淋巴结转移早期预测的研究》，该研究发表于《eClinicalMedicine》期刊上。该研究的主要目标是构建一个深度学习网络（DLN），并基于Transformer模型对患者的预处理CT图像进行分析，在准确识别胃癌患者新辅助化疗后淋巴结转移风险方面提供支持。

核心技术

1.Transformer框架 ：

• 初始设计集中在自然语言处理领域后，该架构成功迁移至计算机视觉领域，并在医学图像分析方面展现出显著优势。该模型凭借多头注意力机制的能力，在捕捉数据中的复杂空间关系方面表现尤为突出。这种能力对于解析图像特征具有重要意义。

‍‍2.3D肿瘤图像处理 ：

研究中采用了三维肿瘤图像数据集来进行训练与验证过程。这一做法使得模型能够全面提取来自整个肿瘤体积的特征信息，并非仅局限于单一切面分析。

3.半自动肿瘤分割 ：

采用一种名为AILEN的前期开发的半自动分类系统来优化其分类性能与准确度水平。
或者，
运用一种称为AILEN的半自动化分类技术先行研发以提升分类效果，并应用于CT扫描图像中明确肿瘤体积。
又或者，
AILEN是一种先前研发而成的关键性半自动化分类工具，在提高分类效率与准确度方面具有显著优势，并被成功应用于CT图像分析以确定肿瘤体积范围。

4.深度学习网络（DLN）开发 ：

设计了一个融合了32个Transformer编码器块的深度学习网络架构

网络输入肿瘤体积感兴趣（VOIs）并输出预测LNM的概率值。

5.临床模型和列线图（Nomogram） ：

通过单变量和多变量逻辑回归分析的方法识别了影响疾病的关键因素，并建立了临床预测模型作为基准模型进行比较分析。

进一步整合DLN和独立的临床预测因子构建了列线图，以增强模型性能。

6.模型性能评估 ：

• 使用接收者操作特征曲线（ROC）下的面积（AUC）来评估预测LNM的性能。

计算了准确性、敏感性、特异性、阳性预测值（PPV）和阴性预测值（NPV）。

7.决策曲线分析（DCA） ：

• 用于评估不同模型在不同阈值概率下的临床效用。

8.可解释性 ：

通过梯度加权类激活映射（Grad-CAM）以及特征图的技术手段，在用于指导深度学习模型在预测淋巴结转移中的决策信息捕捉方面具有显著的效果

9.生存分析 ：

利用Kaplan-Meier生存分析方法对LAGC患者的总体生存期（OS）进行了系统评估，并进一步采用Cox比例风险回归模型筛选出影响患者生存期的独立风险预测因子。