深度学习发展史

本文围绕四个重要领域展开对张量、生成模型、序列学习及深度强化学习的发展历程的系统梳理。

主要按最早研究 出现的时间，从4个方面来追踪深度学习的发展史。

1、张量

1958年Frank提出了感知机这一概念,然而由于计算能力受限的问题被某些学者指出后,并未显著推动较大规模神经网络的发展,在一段时间内进展缓慢

Fukushima在1979年左右提出Neocognitron，感觉这是卷积和池化的雏形。

Hinton于1986年提出了反向传播的概念及其相关的多层感知机（BPNN/MLP）。这些被广泛认为具有重大的影响，并在未来几十年内持续产生深远的影响。

接下来比较重要的发展是，LeCun在1998年提出LeNet-5，7层的CNN做数字识别。

随后，在2012年，AlexNet在ImageNet竞赛中取得了胜利。这也是基于CNN+Dropout+Relu的技术框架实现的突破性成果。这也是因为Hinton及其团队的研究推动了深度学习（Deep Learning, DL）领域的快速发展。其地位毋庸置疑。值得一提的是，在2015年左右还出现了GoogleNet。

如今，在该领域取得卓越成就的学者中出现了众多华人杰出人物。十六年后，在计算机视觉（CV）领域声名鹊起的学者包括何恺明。他不仅提出了开创性的工作——ResNet，并获得了该领域的最佳论文奖（Best Paper），这一成就对后续研究产生了深远影响。然而这一突破也带来了显著的效果与挑战。

如今，在该领域取得卓越成就的学者中出现了众多华人杰出人物。十六年后，在计算机视觉（CV）领域声名鹊起的学者包括何恺明。他不仅提出了开创性的工作——ResNet，并获得了该领域的最佳论文奖（Best Paper），这一成就对后续研究产生了深远影响。

17年推出Capsule Network这一创新技术,由Hinton团队主导.我对Capsule网络在自然语言处理领域的潜力充满信心,尽管目前尚未显现显著成效.通过将Capsule网络应用于文本特征提取这一过程,则能够显著提升模型的表征能力.

2 、生成模型

上世纪80年代提出了受限玻尔茨曼机（RBM）的概念，在2006年将其结合深度学习框架构建出深度信念网络（DBN）。可以说这是构建现代深度学习体系的一个关键起点。

在20世纪80年代初,Hinton首次提出了自编码器的概念,随后多年后,Bengio于2008年提出了去噪自编码器理论,而 variational autoencoder 则是由Welling等人于2013年提出的。

于2014年Goodfellow及其合作伙伴提出生成对抗网络(GAN)，从此生成网络也被视为自动编码器(AE)及其衍生形式(如去噪自编码器、变分自编码器等)。可以说，该技术的出现显著提升了生成模型在学术界的地位及其研究热点。此外，在研究不断深入的过程中又出现了众多衍生模型包括但不限于：判别式条件生成网络(DCGAN)、共线性条件生成网络(CGAN)、平滑条件生成网络(PGGAN)、局部可解释性增强型生成网络(LAPGAN)、信息瓶颈型生成网络(InfoGAN)、Wasserstein GAN(W-GAN)、F-GAN以及序列与非序列类型下的多种创新形式如SeqGAN与LeakGAN等。

3、 序列学习

于1982年创立了Hopfield网络模型，在1997年,Schmidhuber开发了LSTM（长短期记忆）模型。于2013年,Hinton团队将Recurrent Neural Networks（RNN）应用于语音识别领域，并取得了显著进展。这一突破使得RNN迅速成为机器学习领域的焦点。

值得敬佩的是Bengio教授。Word2Vec方法确实显著影响了整个领域的发展。如今NLP研究领域的几乎所有论文都离不开词向量技术，并推动了一系列后续的重要进展包括但不限于Glove、FastText、ELMo（18年2月）、Transformer（18年6月）、**BERT（18年10月提出……）等。值得注意的是BERT的确可能彻底改变了主流NLP任务的标准做法以及基准水平。

另一个细分领域，在第十四届会议上提出了序列到序列模型（Seq2Seq），其重要性已为人所熟知，在NLP领域内早已被广泛讨论。随后于第十五届会议期间提出了基于字符卷积神经网络（Character CNN）模型的研究框架，在第十七届会议期间则提出了基于自注意力机制的方法

4、 深度强化学习

涉及深度学习相关技术如DeepMind等及其变体如AlphaGo Silver等的强化学习方法自始至终是研究热点

了解更多？欢迎关注

微信公众号：freeinvest