迁移学习(Transfer learning)、重用预训练图层、预训练模型库
发布时间
阅读量：
阅读量
迁移学习(Transfer learning)、重用预训练图层、预训练模型库
目录
迁移学习(Transfer learning)、重用预训练图层、预训练模型库
迁移学习(Transfer learning)：
重用预训练图层
预训练模型库：
迁移学习(Transfer learning)：
迁移学习（Transfer learning）而言，则是指将已训练好的模型参数迁移到新模型中以辅助其进行训练的过程。基于大多数数据或任务通常具有相关性这一特点，在迁移学习中我们可以通过共享已有的知识储备来加快新模型的学习效率，并提高其性能水平。相较于传统方法需要从零开始建立全新的网络架构而言，在迁移学习框架下我们能够直接利用现有模型积累的知识基础从而显著提升学习效果与效率。
迁移学习无疑然是机器学习里的核心问题之一。掌握迁移学习不仅可以让我们深入认识学习到的特征还能够帮助我们更加透彻地了解神经网络"学习"的本质以及运作方式。
重用预训练图层
显然从零开始训练一个规模如此庞大的深度神经网络并非明智之举。通常情况下建议寻找一种适用于解决类似问题的现有神经网络架构，并将其应用到新的任务上——这就是所谓的迁移学习方法。这种做法不仅能够显著缩短模型开发所需的时间——通常可以快上一到两个数量级——同时也大幅降低了所需的训练数据量。
预训练模型库：
每一种深度学习编程框架均匹配相应的训练库系统，并且这些预训练模型通常基于标准化的数据集构建而成。这些用户在使用时需经过统一格式处理：首先对输入数据执行标准化预处理（包括统一维度、格式等），随后固定低层神经网络权重层（freeze），接着对中高层神经网络进行微调（fine-tuning），最后根据具体应用场景更换输出层（替换成与问题相关的结构）。
参考知乎+What is Transfer Learning? 这一领域的发展历程及其发展趋势如何？
参考: 迁移学习
参考：transfer learning
全部评论 (0)
还没有任何评论哟~