MMFNet: A Multi-modality MRI Fusion Network for Segmentation of Nasopharyngeal Carcinoma
《MMFNet: A Multi-modality MRI Fusion Network for Segmentation of Nasopharyngeal Carcinoma》
读书报告
wxy
论文基本信息：
MMFNet: A Multi-modality MRI Fusion Network for Segmentation of Nasopharyngeal CarcinomaConcept
Problem/challenge/background
-
目的：为了放射治疗NPC准确分割病灶
-
现在方法的不足：
-
DNN方法基于patch，性能取决于patch size且耗时久。
-
没有充分利用3D信息。
-
没有融合多模态MRI分割。（multi-modality MRI (T1, CET1 and T2)）
-
目前的多模型融合方法：
-
多种输入融合：多模态图像通道喂给网络（之前那篇利用t阶段信息）
-
决策阶段融合：多通道分开处理，决策阶段结合所有特征（每种特征当作一个不同不相干目标，最后求并集）
-
层级融合网络：在中间层融合各种信息来获得互补 特征。
-
多编码器：对于多种模态运用各自特定编码器，将特征给一个解码器。（now best，仍然忽略个别模态特定特征）
-
目前的注意力机制主要分为基于通道和基于空间两种。
Contribution
- 融合多模态MRI分割。
- 新颖融合块。包含3D-CBAM和RFBlock。针对不同模态（T1, CET1 and T2） 的影像，可以自适应地重新校准低级特征，使之融合到具有与相应高阶特征相同通道数的特征中，保持高阶和低阶特征之间的平衡
- “自我转移”的训练策略：刺激不同的编码器充分挖掘特征。
How to solve the problem
- 注意力机制（再次）
自适应重新校准逐通道特征响应。空域注意力机制着重强调利用兴趣区。还有通道注意力机制。CBAM是将两者结合的结构。本文使用3D-CBAM。
2. 自我转移：利用了预训练能够识别MRI空间特征的编码器。
网络结构类似添加了3D卷积的Unet
Encoder：两个输出，一个传递给下级编码，一个给对应解码器，用以结合高低阶特征（编码低阶解码高阶）。
- Loss函数：骰子损失（again）
- 融合块：3D，有通道注意力模块（关注哪些特征有意义）以及空间注意力模块（关注重要信息在哪）。目的：重新校准 ，融合不同模态 低阶特征。
首先重新加权高低阶特征（通道C）以及标记相关区域（空间S）。
- 通道块：利用了标准差，平均值和最大值三个值。利用了有一个隐藏层的MLP。下式最外层是sigmoid。得到Fc。
1.
空间块：在上文Fc的基础上利用333的3D卷积：
现在3c个通道。
1. 残余块：修饰作用。首先卷积达到通道数为c的Fr，与解码对应通道数一致， 后面再添加Batchnorm和ReLU。6. 自我转移（初始化策略）：针对多模态MRI，结合各种模态预训练结果来充分挖掘模态特征。
How to prove that problem has been solved如何设计实验
- 数据集和预处理：
采集地点，仪器，分辨率（重新采样使得一致），GT来源。
预处理主要是强度归一和裁剪（ｃｈｏｐ）ROI，限值来降低数据的复杂度：set [－2; 1], [－3; 2] and [－2; 3:5] for T1, T2 andCET1 respectively. 使用滑动窗口来裁剪roi，首先用大津法框出３D边界框，根据这个裁剪16＊256＊256的中心区域，滑动窗在ｚ轴滑动，步长是４.
-
评估：
-
骰子
-
平均对称面距离（ASD）
-
它是显示两个图像体之间所有距离的平均值。P预测，G真值。
- 豪斯多夫距离HD：
它显示从一个体积曲面中的点到另一个曲面中最近点的距离的最大值。
- 训练：首先预训练，每个模态单独训练。Adam优化器，学习速率
。
MMF里面训练首先固定编码器，调整（warmｕｐ）解码器参数（ｗｈｙ？） ，
然后一起更新参数 
５折交叉验证，２５％验证，早期停止策略（如果验证损失未减少超过10个时期，则停止训练）。
- 环境：CPU，GPU型号内存，python版本，Windows系统１０.
- 图片例子+解释
- 精准召回曲线
- 消融分析
Other enlightenment
- Discussion:
SOD任务的框架区别于分类任务，还需要空间细节信息如边缘等。（高阶语义+低阶细粒度）
所以减少了池化层来增加分辨率。空洞卷积获得更大的接受野。