【小样本图像分割-3】HyperSegNAS: Bridging One-Shot Neural Architecture Search
小样本图像分割-3
最近分享的一篇文章来自CVPR 2022会议，并主要应用于基于神经网络结构搜索（NAS）的三维医学图像分割技术。目前NAS技术曾短暂风靡于学术界，然而其用途却较为有限，在实际应用中其用途却较为有限，在现实世界中的应用仍然较为少见。而且神经网络搜索通常需要大量资源和较高的成本投入。其核心在于对神经网络架构的拓扑组织、层数设置以及节点之间的连接关系进行系统性探索与优化以期实现性能最佳的目标模型构建。这种自动化设计方法不仅大幅降低了人工设计所需的时间与精力还能显著提高模型设计效率与效果
文章的位置：[2112.10652] HyperSegNAS: 连接一次性神经架构搜索与三维医学图像分割使用HyperNet (arxiv.org)
代码的地址：没有提供对应的代码
摘要
因物体（如器官或肿瘤）的形态与模式呈现高度变异性的特点，在进行3D医学图像处理时实现语义分割是一项具有显著技术难度的任务。基于近期深度学习在医学图像分割领域取得的成功应用，神经架构搜索技术(NAS)被引入用于探索高精度的三维分割网络架构设计。然而，在面对三维数据的大规模计算需求以及离散优化特性时，传统的NAS方法往往需要较长的时间进行参数空间搜索，并且必须依赖于必要的连续化松弛处理才能获得有效的解决方案；这通常会导致寻优后的网络架构并非最优解。尽管一次性 NAS 方法能够从根本上规避这些局限性问题，在广泛的多尺度多路径搜索空间中实现系统性优化仍是一个待解决的关键难题。为此，在深入分析现有 NAS 方法局限的基础上，我们提出了一种一次性 NAS 方法——HyperSegNAS系统。该系统通过整合网络拓扑结构信息来辅助构建超级网络模型，并在此基础上实现了对最终候选网络架构的有效提取与推理能力。值得注意的是，在整个 NAS 搜索过程中不会引入任何额外开销成本；此外还表明，在与现有最先进算法(SOTA)相比时，该研究方法不仅能够实现更好的性能指标表现（包括准确率提升），还能通过直观化的拓扑结构分析机制揭示潜在的设计空间关系；同时该方法还具备良好的泛化能力——可以在不同计算资源约束条件下快速完成高质量候选网络架构的选择与生成。
作者提出的方法
本研究的背景意义在于自动化医学图像分割作为一个活跃的研究领域，在解剖学分析与疾病诊断等领域具有广泛的临床应用。尽管深度学习方法在一定程度上取得了进展，但医学图像分割仍面临诸多挑战。为了应对目标对象的巨大变化性和复杂性，并克服受限于有限的训练数据量以及高维度和高分辨率的特点，在三维图像中研究人员开发了适应不同计算架构的高效神经网络模型。
基于DiNTS [16] (1a) 和我们提出的基于MSD[1] 胰腺数据集构建的HyperSegNAS (1b)，提取了相关架构信息。 在相同计算资源下，在相同计算资源下，在相同计算资源下，在相同计算资源下，在相同计算资源下的情况下，在相同计算资源下的情况下，在相同计算资源下的情况下，在相同的计算成本下 HyperSegNAS采用了丰富的跳跃连接机制，并通过传播多尺度特征来提高预测能力。 相比DiNTS而言 比较之下 比较之下 比较之下 比较之下 比较之下 比较之下 比较之下 如图 与 DiNTS相比 显然 显然 显然 显然 显然 显然 显然 如图 与 DiNTS相比 显然 显然 显著地超越了其性能表现（如图 与 DiNTS相比 显著地超越了其性能表现（如图 与 DiNTS相比 在保证精度的前提下降低了模型体积 并找到了更为经济高效的网络架构形式（如图
作者在这篇文章的主要贡献如下：
- 提出了一种一次性 NAS 方法 HyperSegNAS ，用于探索最适合 3D 分割架构的设计方案。
- 开发了一种称为 MetaAssistant Network (MAN) 的新超网络结构 ，该结构通过整合相关元数据信息来优化分段网络的大规模搜索空间; MAN 结构可以在训练后移除 ，并且不会增加搜索或重新训练所需的计算资源。
- 在 MSD 的多任务学习中 ，该方法在低复杂度和高复杂度架构上均展现出超越性的性能 ，并优于 DiNTS 和最新的 SOTA 方法。
该文章所涉及网络的主要架构如下：该文章中的HyperSegNet在其分段搜索空间上增加了额外的一个HyperNet H，在训练超级网络的过程中它通过增加信道加权来提升性能。图2a中标出的部分在图2b中进行了详细展示：为了优化性能，在热力学退火过程中逐步将权重参数替换为固定值，并从推理过程中移除该模块：因此，在保持效率的同时实现了更好的性能估计
本方法的一些效果
在与同样采用NAS架构的DiNTS方法进行比较的研究中
通过可视化技术可以观察到ωa,I Hθ的变化情况可以通过不同图像或结构进行分析。在6b模块中采用了容量分别为5GB和7GB的架构组件作为ai和aj参数。计算结果通过滑动窗口平均方法，在步长为16的情况下进行整合处理。
结论
在本研究项目中,我们开发出了HyperSegNAS,一种专为医学图像分割设计的新颖神经架构搜索算法(NAS).该算法通过利用经过预先训练的超级网络来进行性能评估,从而识别出表现优异的分割架构.为了应对由于规模庞大且缺乏组织性的分割搜索空间所带来的训练复杂性问题,我们提出了一种称为元助理网络(MAN)的超网络改进学习方法.该超网络将部署架构信息与输入图像的高级特征融合到输出通道权重中,以此优化推理流程以获得更好的性能.为了在搜索阶段实现公平评估,HyperSegNAS随后去除了MAN结构.通过大量实验表明,我们的方法在满足计算约束条件下的精度与分割性能方面均展现出卓越的表现.具体而言,在胰腺数据集上的低计算开销架构显著优于DiNTS架构.此外,我们在MSD中的五个典型任务上进行了广泛测试,最终分别达到了当前最优性能(SOTA).通过对体系结构性能评估结果的深入分析发现,引入跳跃连接对于发现具有良好性能的体系结构至关重要这一发现与传统的人工体系结构设计经验相吻合且为现有方法所忽视.