【KD】知识蒸馏与迁移学习的不同
发布时间
阅读量：
阅读量
知识蒸馏与迁移学习的不同
(1)数据域不同.
知识蒸馏中的知识通常是在同一个目标数据集上 进行迁移，而迁移学习中的知识往往是在不同目标的数据集上进行转移.
(2)网络结构不同.
知识蒸馏的两个网络可以是同构或者异构 的，而迁移学习通常是在单个网络上利用其它领域的数据知识.
(3)学习方式不同.
迁移学习使用其它领域的丰富数据的权重来帮助目标数据的学习，而知识蒸馏不会直接使用学到的权重.
(4)目的不同.
知识蒸馏通常是训练一个轻量级的网络 来逼近复杂网络的性能，而迁移学习是将已经学习到相关任务模型的权重来解决目标数据集的样本不足问题.
参考
一种创新的方法，名为"Search to Distill"，在知乎平台上发布了一篇名为《珍珠无处不在，但不是眼睛的位置》的文章。
全部评论 (0)
还没有任何评论哟~