MetaLR: Meta-tuning of Learning Rates for Transfer Learning in Medical Imaging论文速读
发布时间
阅读量：
阅读量
论文速读
- MetaLR: Meta-tuning of Learning Rates for Transfer Learning in Medical Imaging
-
- 摘要
- 方法
- 实验结果
MetaLR: Meta-tuning of Learning Rates for Transfer Learning in Medical Imaging
摘要
在医学图像分析中，迁移学习是深度神经网络 （DNN） 对有限的医疗数据进行泛化的强大方法。之前的工作重点是在肺超声、胸部 X 射线和肝脏 CT 等领域开发预训练算法，以弥合领域差距。然而，模型微调在使医学知识适应目标任务方面也起着至关重要的作用。常见的微调方法是手动挑选可转移层（例如，最后几层）进行更新，这非常耗费人力。
本文提出了一种名为MetaLR的基于元学习率（LR）的调节器，以使不同的层根据其跨领域的可转移性自动共同适应下游任务。MetaLR以在线方式学习不同层的LR，防止高度可转移的层忘记其医学表示能力，并驱动可转移性较低的层积极适应新的领域。
代码地址
方法
MetaLR的动机。以前的工作在预训练模型中修复了可转移层，以防止它们发生灾难性遗忘。这种方法很难找到最优方案，而且人力成本高。MetaLR 使用元学习自动优化逐层 LR 进行微调
本文算法的步骤：
LR 通常以指数方式（例如，1e-3、3e-3、1e-2）进行调整，并且始终为正值。但是，如果使用常数超 LR，则无论数值约束如何，它都会线性更新其相应的 LR。这可能导致 LR 的波动，甚至导致 LR 小于 0 并被截断的风险。为了解决这个问题，我们建议使用比例超 LR η = β × αt j ，其中 β 是预定义的超参数。这允许我们将方程（3）改写为：
实验结果
全部评论 (0)
还没有任何评论哟~