医学图像分割论文:MS-NAS: Multi-Scale Neural Architecture Search for Medical Image Segmentation

医学图像分割论文:MS-NAS: Multi-Scale Neural Architecture Search for Medical Image Segmentation

Auther: Xingang Yan, Institution:Zhejiang University, Publish year: 2020

论文地址：https://arxiv.org/abs/2007.06151

Key point:

将网络结构搜索（NeuralArchitecture Search, NAS）应用于医学图像分割领域，用于解决目前医学图像分割领域依赖于固定的网络主干，只能依靠超参数调整，从而限制了底层搜索空间来标识更有效的体系结构。但NAS会消耗更多的计算资源，如何平衡两者的关系，是目前需要解决的问题。
本文作者提出了一种多尺度NAS框架，该框架具有从网络主干到cell operation的多尺度搜索空间，并具有融合不同大小特征的多尺度融合功能。利用部分联通和两步解码的方法来减小计算开销，同时保持优化质量

网络结构：

Fig1 MS-NAS架构
a. 网络搜索空间
b. 一个包含三个cell的人工module
c. 部分信道连接的说明
Multi-scale search space: 该框架在不同尺度上，从主干网络，专用模块到操作符进行搜索，具有更大的搜索空间，可以为不同的任务寻找更优的架构
Multi-scale fusion: 探索了多尺度融合，通过每个人工模块内连接不同尺度的特征来提高分割效率
三种cell: expanding cells, contracting cells, and non-scaling cells

搜索空间

MS-NAS的搜索空间包括从网络、模块、单元到操作符的多种尺度搜索空间

• cell level:

在单元搜索空间中确定所需的单元结构和连接，每个单元可以看作是输入tensor到输入tensor的映射

• network level:

网络级搜索用于确定整个网络的骨干结构，搜索空间是自下至上的

Fig2 MS-NAS cell-level和network-level 搜索过程

训练细节：

网络层数为10，每个单元中包含3个blocks，搜索空间包含3.89e9个paths，4.22e8个cells，1.64e18个network architectures。
输入图像均resize至256*256，前20个epoch优化cell参数，后20个epoch优化network参数，使用动量为0.9的SGD优化器，学习率为(0.025,0.001)，使用1080ti训练了2天

训练结果：