Meta-Transfer Learning for Few-Shot Learning论文解析

阅读量：

基础信息

中文标题：用于少样本学习的元迁移学习

期刊：CVPR 2019

提出的问题

元学习常被用于少样本学习环境，但是深度神经网络很容易会过拟合；浅层神经网络，会限制性能

创新点

提出一个meta-transfer learning (MTL)方法

1、可以帮助深度神经网络更快的收敛，减少过拟合

（1）transfer：在大量数据上训练出来的DNN权重用两个轻量级的神经元作用于另一个任务：Scaling and Shifting (SS)缩放+移动（αX + β）

（2）有着很好的meta-training curriculum：更好的安排训练数据可以更好的收敛和实现更好的性能。传统的元批次包含很多随机任务，而HT 元批次在线根据过去的失败任务以最低的验证精度重新采样较难的任务。

主要结构

阶段一：模型预训练阶段

随机初始化一个特征提取器和分类器(Resnet)

目的：学习特征提取器的参数。在后续两个阶段（元训练+元测试）参数会冻结，且分类器被丢弃（后续的分类目标不同）

阶段二：元训练（元迁移阶段）

目的：通过HT策略批量训练，来优化浅层网络Scaling and Shifting (SS)的参数

1、给多个任务T，优化分类器

2、Scaling and Shifting (SS)权重优化

3、进而优化预训练模型的特征提取器（进行缩放和移动）

Hard task (HT) meta-batch

传统的元批次由随机采样的任务组成

本文：有意选取每个任务中的失败案例，并将其数据重新组合为更困难的任务，以进行重新训练

1、元训练阶段中基础学习器(预训练模型)在每一个epoch用SS参数更新

2、元测试阶段SS参数更新，并得到M个类的准确率->确定准确率最低的前m个类

3、选择m类的新样本来训练

算法流程

全部评论 (0)

还没有任何评论哟~

Meta-Transfer Learning for Few-Shot Learning论文解析

基础信息中文标题：用于少样本学习的元迁移学习期刊：CVPR2019 提出的问题元学习常被用于少样本学习环境，但是深度神经网络很容易会过拟合；浅层神经网络，会限制性能创新点提出一个metatr...

Meta-Transfer Learning for Few-Shot Learning 论文笔记

前言元学习（metalearning）是目前广泛使用的处理小样本学习问题的方法，它的目的是在学习不同任务的过程中积累经验，从而使得模型能够快速适应新任务。比如在MAML（ModelAgnosticM...

Meta-Transfer Learning for Few-Shot Learning 元迁移学习论文解读

我之前写过一篇元迁移学习的论文笔记，一种迁移学习和元学习的集成模型。但是本文的元迁移学习方法完全不同于上一篇论文。 Abstract 由于深度神经网络容易对小样本过拟合，所以元学习倾向于使用浅层神经...

Task-Agnostic Meta-Learning for Few-shot Learning 论文笔记

前言最近越来越多的工作使用元学习来处理小样本学习问题。一般来说，元学习模型包括两部分：初始模型和更新策略，其中初始模型是在大量任务上进行训练得到的，更新策略是为了使初始模型能够适应一个只有少量样本的...

论文阅读：A New Meta-Baseline for Few-Shot Learning

思维导图基本概念： 1metalearning metalearning即元学习，也可以称为“learningtolearn”。常见的深度学习模型，目的是学习一个用于预测的数学模型。而元学习面向的不...

论文阅读：A New Meta-Baseline for Few-Shot Learning

论文：ANewMetaBaselineforFewShotLearning 代码：<https://github.com/cyvius96/fewshotmetabaseline 地址：<https:...

【论文阅读】Meta-SE: A Meta-Learning Framework for Few-Shot Speech Enhancement

这篇文章介绍了一个名为MetaSE的元学习框架，专门用于少样本（fewshot）语音增强问题。文章的核心目标是解决在实际应用中，由于训练样本有限而导致传统深度神经网络（DNN）模型性能受限的问题。

论文阅读问题总结(五)：Task-Agnostic Meta-Learning for Few-shot Learning

1.本文作者提出了什么问题？当前基于梯度的元学习方法MAML,Reptile虽然针对模型学习到了可以泛化到不同task的初始化参数，但作者指出学习到的初始化参数并不是针对各个task都可以很好地泛化...

prototypical networks for few-shot learning论文

文章目录摘要引言 Prototypicalnetwork Notaion model zeroshotLearning Experiments OmniglotFewshotClassificat...

Meta-SGD: Learning to learn quickly for few shot learning---翻译理解

Abstract 对于孤立地从头开始学习每个任务的算法来说，少镜头学习是一个挑战。相反，元学习从许多相关的任务中学习，元学习者可以用更少的例子更准确、更快地学习新任务，而元学习者的选择是至关重要的。

是否确定退出登录?

Meta-Transfer Learning for Few-Shot Learning论文解析

基础信息

提出的问题

创新点

主要结构

阶段一：模型预训练阶段

阶段二：元训练（元迁移阶段）

Hard task (HT) meta-batch

算法流程

全部评论 (0)

相关文章推荐

Meta-Transfer Learning for Few-Shot Learning论文解析

Meta-Transfer Learning for Few-Shot Learning 论文笔记

Meta-Transfer Learning for Few-Shot Learning 元迁移学习论文解读

Task-Agnostic Meta-Learning for Few-shot Learning 论文笔记

论文阅读：A New Meta-Baseline for Few-Shot Learning

论文阅读：A New Meta-Baseline for Few-Shot Learning

【论文阅读】Meta-SE: A Meta-Learning Framework for Few-Shot Speech Enhancement

论文阅读问题总结(五)：Task-Agnostic Meta-Learning for Few-shot Learning

prototypical networks for few-shot learning论文

Meta-SGD: Learning to learn quickly for few shot learning---翻译理解