乳腺超声文论阅读笔记
乳腺癌淋巴结超声文论阅读笔记
Deep learning radiomics can predict axillary lymphnode status in early-stage breast cancer
Deep Learning vs. Radiomics for Predicting Axillary Lymph Node Metastasis of Breast Cancer Using Ultrasound Images: Don’t Forget the Peritumoral Region
(一) Deep learning radiomics can predict axillary lymphnode status in early-stage breast cancer
原文: paper
0. deep learing radiomics
Deep learning and radiomics in precision medicine综述了这个问题，机器学习和深度学习算法以及定量的图像纹理度量的结合，称为radiomics。“深度学习影像组学”。
1. 问题介绍
这是来自中山大学超声部和复旦大学电子工程系合作的工作，发表在Nature Communications 2020。
首先文章强调了乳腺腋窝淋巴结早期预测的意义和临床诊断的局限：
- 乳腺癌患者中腋窝淋巴结（ALN）的准确识别对于预后和治疗决策很重要。
- 前哨淋巴结（SLN）是引流原发癌的第一个结节。SLN活检（SLND）和ALN解剖常用于预测ALN的状态，但由于其侵入性和潜在的并发症以及可能的过度治疗，这些外科手术方法被认为是有争议的。
- 如果对术前ALN状况进行可靠的评估，就可以避免SLN活检，因为大多数患有早期乳腺癌的患者都患有无病的腋窝。
2. result
两种图片类型作为输入加上临床数据的多模态组合可以得到最佳的诊断效果
3. method
3.1 dataset
使用了来自584个女性病例的584个恶性乳腺癌样本，N+表示腋窝淋巴结转移的个数。
| N+(0) | N+(1–2) | n+(≥3) |
|---|---|---|
| 337 | 150 | 97 |
3.2 base method
经过多种模型测试，选择使用resnet50。文章将base method命名为resnet50+C，其中+C表示将临床数据加入了网络的全连接层（相当于多模态融合，直接以feature vector的方式拼接）。
3.3 Deep learning radiomics model
根据肿瘤分割蒙版从原始的US图像中裁剪出矩形ROI，将尺寸调整为224×224像素并进行了归一化。 病理类型被编码为one hot。 在训练阶段，矩形ROI被馈入网络以通过向后传播来更新模型参数。 使用网络的输出作为分类结果，并计算输出和标签的交叉熵作为损失函数。
为减轻过度拟合和样本不平衡的影响，使用了一种称为在线数据增强的策略 ，该策略随机将输入图像进行水平和垂直翻转，以4个像素为单位从四个方向随机裁剪每个ROI图像，并将每个类别图像按相同的概率输入网络中。学习率设置为1e-4，并应用Adam优化器以批处理大小32更新模型参数。最大迭代步长设置为5000，学习率在2000和4000步时衰减了1/2。 训练后，将最后一个FC层替换为SVM作为分类器，并融合了临床信息和网络功能，以共同做出决策。
3.4 Multi-modal multi-sources features fusion on DLR
如前所述，可以将单峰图像编码为网络特征。 附加的模态图像可能会提供更有效的信息。 因此，该模型被扩展为与双峰图像输入兼容。 设计了一个并行模型结构，其中包含两个ResNet50基础网络和FC层。 两个ResNet50base模型共享参数，它们分别接受US和SWE图像作为双峰图像输入。 并行网络的最终卷积层输出由以下FC层连接并融合。 网络特征是从与一个模态模型相同的层中提取的。 我们认为，当深度模型被应用于通常面临小样本学习问题的医学图像分析，应将其与临床信息相结合 。
最后，结合临床特征的深层特征，用于协作训练SVM分类器，以预测ALN的状态。 在对照组模型ResNet50 + C中，将神经元添加到ResNet50的倒数第二个FC层，并具有相同数量的临床特征。 在模型训练过程中，网络接收双模态图像并作为输入，临床特征直接输入到倒数第二个FC层，而不是提取深层特征并离线组合它们（多模态训练）。
细节问题
- 并行网络的特征图是如何做拼接的
- SVM分类器的训练
(二)Deep Learning vs. Radiomics for Predicting Axillary Lymph Node Metastasis of Breast Cancer Using Ultrasound Images: Don’t Forget the Peritumoral Region
原文: paper
1.method
与前一篇文章相似，使用了多模态的方法，将分子亚型信息作为输入整合到DenseNet的全连接层中。此外这个工作考虑了肿瘤附近的图像特征，并证明了对准确率有较好的提升。
似，使用了多模态的方法，将分子亚型信息作为输入整合到DenseNet的全连接层中。此外这个工作考虑了肿瘤附近的图像特征，并证明了对准确率有较好的提升。
