Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks 读后感

Model-agnostic meta-learning: Capable of Rapid Adaptation to Deep Neural Networks 读后感

• 论文摘要
  • 元学习是什么
    • 算法1：模型无知的Meta学习梯度下降更新过程
    • 相关实验分析
    • 研究问题与挑战

论文概述

这篇论文探讨了《Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks》，它涉及到了元学习领域。研究者在本文中提出了一个与模型无关的元学习算法。该算法适用于所有基于梯度下降法进行参数优化的学习系统；它不仅适用于传统的监督学习任务如分类和回归问题，并且也能应用于复杂的强化学习场景。研究者通过应用这一创新方法，在两个小规模图像分类任务上实现了显著的优势。

什么是元学习

简而言之，在机器领域中，元学习是一种使机器能够学会如何进行自主学习的技术。近年来这一领域受到了越来越多学者的关注与推崇；工程师们致力于通过多场景的训练任务来训练出一个高效的元学习器，在新的任务环境中仅需少量样本即可实现卓越的效果。这种技术与现有的迁移学习技术存在一定的相似性。本文通过深入研究深度神经网络在元学习领域的应用，并提出了一种创新性的算法以供读者参考。与以往的研究相比，在这一领域提出了更具突破性的见解：本文作者所提出的算法基于参数初始化阶段的设计，在面对新任务时经过极简的梯度下降过程即可生成适用于特定场景的高效模型。

Algorithm 1 Model-Agnostic Meta-Learning 梯度下降更新过程

定义：p(\τ) 代表训练任务集的概率分布。定义：\α, \β 分别为元学习器与基学习器的学习率。对于从p(τ)中采样的每个任务τᵢ（i=1,2,...,N），计算其在$f_θ(τᵢ)下的损失值Δ_θζ τᵢ(f_θ)。通过梯度下降方法更新参数至新的值θ'ᵢ=θ−αΔ_θζ τᵢ(f_θ)。完成所有训练任务的优化后，则根据这些优化结果进一步更新模型参数θ=θ−βΔ_θ∑_{τᵢ∈p(τ)}ζf(θ'ᵢ)。

在回归与分类任务之间，其主要区别在于所采用的不同损失函数。文章介绍了回归任务使用均方误差（MSE）作为损失函数、而分类任务则采用交叉熵损失作为目标函数。

相关实验

1. 该方法在面对新学习任务时的速度是否能够满足要求？
   2、该系统能否在多种不同类型的的任务中表现良好？
   3、通过进一步增加梯度下降的迭代次数能否持续提升模型性能？
   实验结果表明该算法不仅具有更快的学习速度，在处理极端小样本数据方面也表现出色。

问题

1、从本文所举例的实验中，我们能看到在基于神经网络的学习器里边，该算法比之该领域的其它算法有一定的优越性，那么切合到信用风险领域，如果我们用传统的机器学习模型，这样的结果是不是可复制的呢？
2、较之于迁移学习，元学习算法与其最本质的不同是什么呢？
3、在我们目前工作的领域是否有必要去选择这样的算法进行探索，因为我们面对的大多是结构化的数据集并且样本量并不大，即使是全量样本进行梯度下降去拟合一个逻辑回归耗时也不会太久；另一方面，我们很缺样本，能不能有足够多的不同场景训练任务去训练处一个比较合适的元学习者。
4、如果我们训练出了一个较为优秀的元学习器，今后在面对一些业务开展时间不长的客户时，那我们是不是可以基于很少的样本（几十个坏几千个好）去训练出
一个比专家经验或是基于当前总体样本训练出的逻辑回归模型泛化性，效果都更优越的模型，投入到生产环境中进行使用。