文献速递：深度学习胰腺癌诊断--螺旋变换与模型驱动的多模态深度学习方案相结合，用于自动预测胰腺癌中TP53突变麦田医学
Title
题目
An integrated spiral transformation approach combined with a model-driven multi-modal deep learning scheme is proposed to achieve the automatic identification of TP53 mutations in pancreatic cancer cases.
spiral transformation combined with model-driven multi-modal deep learning approach is used to automatically predict the TP53 mutation in pancreatic cancer cells.
01
文献速递介绍
胰腺癌是全球范围内死亡率最高的恶性癌症之一，在临床表现上具有显著特点包括诊断延迟、较高的死亡风险以及较低的整体治愈率。约有20-25%（即70-74%）的患者在五年内未能恢复健康（即五年生存率低于约18%-19%）。其中约四分之三（即70-74%）患者存在PTEN基因突变。作为重要的肿瘤抑制基因，在此过程中PTEN负责编码P53蛋白（也称为促生机抑癌抗原），该蛋白能够在多种细胞过程中起到抑制细胞增殖的作用。当PTEN发生突变时，则会促进癌细胞的增殖能力以及其侵袭性并维持其存活状态
特定类型的TP53突变与不良预后及对治疗反应的耐受性密切相关。针对胰腺癌的靶向治疗方法仍处于研究阶段；然而，在胰腺癌增强治疗中选择作为具有吸引力的目标之一。因此，在制定癌症治疗方法时，TP53状态可能扮演着关键角色。接受手术和活体取材以便于检测突变属于常规医疗流程；然而由于临床实践中侵入性操作所带来的局限性限制了这种检测手段的应用频率。
近来，
医学影像技术在评估活体组织中的遗传变异方面发挥着非侵入式的应用。
通过生物医学成像技术获取的组织图像能够揭示其潜在的病理生理状态。
特别值得注意的是，
成像中提取的关键指标，
包括肿瘤体积、形状特征以及表面积等关键指标，
这些指标对于了解肿瘤特性及其微环境具有重要意义。
该方法在非侵入性遗传变化评估方面展现出令人鼓舞的效果。例如，在CT影像和原发性人类肝癌基因表达之间，Eran等获得了相关性；Coudray等利用肺癌组织病理学影像提取特征图，并基于此预测了如TP53等基因突变。研究筛选出部分具有代表性的放射组学特征：形状、纹理和密度。接着从这些特征中选择关键指标，并构建机器学习模型以预测潜在的基因突变类型。
Abstract-Background
摘要
_胰腺癌是一种恶性程度极高的癌症类型，在临床实践中其预后状况不容乐观，并且对治疗方案的有效性也提出了严峻挑战。pathological examinations such as biopsies由于其局限性无法频繁开展 因此开发非侵入性且具可重复性的诊断方法成为当务之急
胰腺癌是一种恶性癌症，在临床实践中具有较差的预后效果。预后不良以及对治疗方案抵抗的关键因素与TP53基因突变密切相关。然而，在临床实践中频繁进行活体组织检查等病理学检查并非现实；因此，在这一前提下必须寻找一种非侵入性且可重复操作的方法。尽管基于影像的数据自动预测方法存在诸多局限性——例如在3D信息处理方面仍显不足、样本数据量有限且多模态数据融合效果欠佳——但在本研究中我们提出了一种基于模型驱动的多模态深度学习方案以克服这些挑战。为了实现这一目标我们设计了一种螺旋变换算法能够从原始的3D数据中提取二维图像同时这种变换过程既保留了原始图像的空间相关性又显著降低了计算资源消耗并便于后续引入高质量的数据增强技术以提升数据规模的效果。在此基础上我们构建了一个模型驱动型的数据增强框架不仅能够有效提升小样本条件下模型的学习效果还通过引入双线性池化模块进一步增强了细粒度特征预测的能力最终实验结果表明所提出的多模态深度学习模型在胰腺癌TP53突变检测任务中展现出良好的性能表现同时为非侵入性基因预测提供了一种创新性的解决方案这一创新方法不仅限于胰腺癌研究更能在肿瘤学领域的其他相关研究中得到广泛应用
CONCLUSION
结论
本研究中,我们提出了一种基于小样本数据的模型驱动多模态深度学习模型,用于基于少量数据实现胰腺癌TP53突变的自动化预测。为了有效应用3D信息并减少计算资源消耗,我们开发了一种螺旋变换方法来增强数据的生成能力。此外,我们也提出了利用深层学习框架中的先验知识来进行多模态信息融合的方法,以提高小样本数据集上的性能表现。为了提高微粒级预测性能,我们在模型中引入了一个双线性模块来优化细节捕捉能力。通过大量实验验证了我们提出的方法在预测胰腺癌TP53突变方面的良好性能和鲁棒性。在医疗图像分析领域中采用小样本数据处理三维信息并与多种模态融合的有效策略具有重要的借鉴意义
在本研究中,我们构建了一个基于模型驱动的多模态深度学习框架,用于在小样本数据条件下实现胰腺癌TP53突变预测功能.该框架通过自适应旋转变换方法,显著降低了计算资源消耗的同时实现了三维信息的有效融合.此外,我们还开发了一种整合先验知识的新方法,能够在深度学习框架中实现多模态数据的有效融合,从而显著提升了小样本学习性能.为了进一步优化细粒度预测能力,我们在模型架构中引入了双线性注意力机制.大量实验结果表明,与现有方法相比,该框架在胰腺癌TP53突变预测任务上展现出更高的准确率和更强的鲁棒性.所提出的方法论为3D医学影像分析中的小样本学习问题提供了一种新的解决方案
Method
方法
A. Data Augmentation
The most common data augmentation method for
_image datasets represents geometric transformations. Rajpurkar [18] and Valvano et al. [19] underwent horizontal flips, rotations, scalings, and other transformations on 2D image datasets to augment the quantity of available data. Zhao et al. [20] performed small translations, zoomed into localized regions with small-range multiples , and rotated original datasets while attempting to extract 3D patches. During the training phase, real-time data augmentation techniques have a significant regularizing impact on model performance. Guan et al. conducted random augmentations without altering the overall dataset size; this approach enhanced the network's robustness against variations in geometric transformations. Alex introduced PCA-based jittering to decompose feature vectors across each RGB channel of an image; this method involved altering feature values and adjusting channel intensities to achieve diverse augmentation outcomes. Color jittering serves as a comparable technique for modifying image contrast and brightness; while effective for data augmentation purposes, it has limitations in certain applications where more nuanced transformations are required.]
数据增强
对图像来说，最常见的数据增强方法是几何变换。Rajpurkar [18] 和 Valvano 等人[19] 对2D图像执行了水平翻转、旋转、缩放和其他变换，以增加数据量。赵等人[20]通过小幅度平移、在小范围内放大（[0.8,1.15]倍）以及在提取3D补丁时旋转原始数据。在训练过程中，实时数据增强方法对模型有很强的正则化效果。关等人[21]对上述几何变换进行了随机选择，不改变数据的总量，从而提高了网络的鲁棒性。Alex [22]提出了主成分分析（PCA）抖动，对RGB的每个通道进行特征分解，以获得特征向量和特征值，然后改变每个通道的强度。类似于PCA抖动的颜色抖动方法，可以用来改变图像的对比度和亮度。几何变换方法在某种程度上可以增加模型的鲁棒性。然而，几何变换前后数据中的信息量大体相似，从而限制了增强效果。
Figure
图
Figure 1 illustrates instances of pancreatic cancer datasets. In each modal image, the first column represents raw data, while the second column shows an enlarged view of specific regions. Pancreatic tumors exhibit relatively small sizes and vague margins.
图 1.1 展示了胰腺癌数据集的典型示例。对于每种模态的图像而言，在第一列中展示了原始数据，在第二列中则呈现了被放大的区域位置。通过观察发现，在这种情况下胰腺癌肿瘤具有较小体积且边界模糊的特点
Fig. 2 illustrates the framework of the proposed model. The pipeline comprises modules for spiral transformation, feature extraction, feature fusion, and output. Three components—mutation prediction loss, intra-modal feature selection loss, and inter-modal prediction constraint loss—are integrated to supervise the training process.
图 2. 所提模型的框架。流程包括螺旋变换、特征提取、特征融合和输出模块。
三个关键组成部分包括突变预测相关的损失项、内模态特征选择相关的损失项以及跨模态预测相关的约束性损失项，在监督训练过程中共同构建用于监督训练的过程
Fig. 3. Coordinate System of Spiral-transform. The coordinate origin O serves as the midpoint in spiral transformations. Additionally, the spiral line has been determined through calculations involving Θ, Ψ, and r.
图 3 展示了螺旋变换的坐标体系。其中O为该变换系统的中心位置。螺旋线则由参数Θ、Ψ以及半径r共同确定
Fig. 4. Data augmentation outcomes achieved through spiral transformation across various coordinate systems. It is effectively demonstrated that coordinate systems remain stationary within a single viewpoint. Coordinate systems labeled (b) and (c), positioned at angles of 45° and 120° respectively relative to system (a), exhibit distinct rotational orientations within the x-y plane. Within each of these three distinct spiral-transformed images, a single 3D object is mapped differently onto two-dimensional planes as illustrated.
图 4展示了使用螺旋变换的数据增强效果。为了更直观地呈现这一效果, 我们将坐标系统设置为在同一视图中固定显示位置。其中(b)和(c)分别相对于(a)绕x-y平面旋转了45°和120°, 如表中的第三列所示, 相同的三维对象经不同二维螺旋变换映射后呈现出不同的二维投影特征
Fig. 5. Two categories of examples generated from augmented data using spiral transformation (a) and 2D geometric transformation (b), respectively. In each sub-figure, the upper left corner represents the original data, while the rest are augmented data.
图 5.基于螺旋变换（a）和2D几何变换（b）分别对数据进行增强处理后得到的两种典型示例图。对于每个子图而言，在左上方标注了原始数据特征，在其余区域展示了经过增强处理后的结果特征
Fig. 6. t-SNE可视化图。(a) 几何变换 (b) 螺旋变换。具有相同编号的点均源自原始数据.
图 6. t-SNE可视化。(a) 几何变换 (b) 螺旋变换。相同编号的点来自同一原始数据。
The data points shown in Fig. 7 belong to different imaging input types, each corresponding to a fold in a five-fold cross-validation experiment, representing their respective accuracy (ACC) and area under the curve (AUC) values.
图表7展示了不同影像输入下的ACC与AUC值对比情况。其中每个数据点对应着五折交叉验证实验中的某一组结果
Figure 8 illustrates the receiver operating characteristic (ROC) curve of the predictive model, both with and without incorporating model-driven items. In Experiment 1, the loss is solely attributed to Lmain. In Experiment 4, apart from Lmain, additional regularization terms βLreg-intra and γLreg-inter are introduced to enhance the model's performance. These terms serve as regularization parameters to control overfitting in intra- and inter-subject contexts respectively.
图 8. 带/不带模型驱动项目的预测模型的ROC曲线。在实验 1 中, 损失函数为 Lmain;而在实验 4 中, 损失函数则扩展至 Lmain 加上 β 乘以 Lreg-intra 和 γ 乘以 Lreg-inter 的组合。
Fig. 9. (a) 在不同β和γ的情况下绘制了ROC曲线。(b) 不同β和γ下AUC的变化情况。(c) 考虑到β=0.001和γ=0.01时ROC曲线间的p值.
图9.(a)展示了不同参数组合下的ROC曲线图。(b)分析了不同参数设置下AUC的变化趋势。(c)比较了各参数组合相对于基准参数(β=0.001, γ=0.01)的ROC曲线下面积差异显著性检验结果
Fig. 10. (a) The connection between AUC fluctuation and original coordinates in spiral transformation analysis is illustrated in panel (a). Horizontal and vertical axes depict offsets from the origin along coronal and sagittal axes, respectively, while panel (b) presents AUC metrics measured at various stages during augmentation.
图 10. (a) 考虑了 AUC 的变化情况与螺旋变换原点坐标的变动关系。横坐标和纵坐标分别表示沿着冠状轴和矢状轴的原点偏移百分比。(b) 分析了不同增强级别的 AUC 值表现
Fig. 11. (a) Different增广周期下H &N1数据集上的AUC值分布。(b) 螺旋模型与二维模型在H&N1数据集上的ROC曲线表现
图 11 中的 (a) 是基于 H&N1 数据集展开的不同增强次数下的 AUC 值分析。(b) 图表显示，在经过 23 次增强训练后，旋度模型与二维模型之间的 ROC 曲线呈现出显著差异
Table
表
TABLE I comparison of two data augmentation methods
表 I两种数据增强方法的比较
_TABLE II, the table below demonstrates the prediction performance of our proposed model based on five-fold cross-validation experiments.
表 II基于五折交叉验证的我们提出的模型的预测性能
TABLE III performance comparison of multi-modal models with different input (MEAN±STD)
表 III 不同输入的多模态模型的预测性能比较（均值±标准差）
TABLE IV complexity comparison of the multi -modal models with different input
表 IV不同输入的多模态模型的模型复杂性比较
TABLE V multi-modal clssification results of different models
表 V不同模型的多模态分类结果
TABLE VI: Analysis of predictive performance metrics comparing single-modal versus multi-modal imaging techniques (MEAN±STD).
表 VI 单模态与多模态成像的预测性能比较（均值±标准差）
The performance comparison table of the prediction model, which includes/excludes model-driven components, is labeled as TABLE VII.
表 VII 预测模型使用/不使用模型驱动项目的性能比较
TABLE VIII HPV prediction results of existing methods on H &N1 dataset
表 VIII现有方法在H&N1数据集上的HPV预测结果