CNN图像分类模型（五）——ResNet

一）简介

ILSVRC 2015分类任务在取得突破性进展后便由ResNet摘得桂冠。在过去的几年里，在CNN特征提取网络领域中，ResNet已经成为最广泛应用的方案之一。

二）ResNet模型介绍

已有研究证实，在现有条件下提升性能具有明显优势。然而，在实际训练过程中, 过高的深度往往会遇到Vanishing Gradient Problem (VGP) 或Gradient Exploding问题, 并且过于复杂的网络结构还会导致预测精度下降. 由此可见, 简单地增加网络层数未必能实现预期效果.

2.1）Highway Network

在ResNet之前的一段时间里, 瑞士学者Schmidhuber最先提出Highway Network这一概念,其原理与ResNet相似.作为著名的人工智能学者, Schmidhuber以其最著名的创造——LSTM网络闻名于世.

• Highways 网络主要针对的是如何优化深度神经网络的训练问题？ 通常认为神经网络的深度对其效能具有重要意义，在实际应用中往往面临训练难度增大的挑战。 Highway 网络的目标就是试图通过某种机制来缓解这种因过深而带来的训练难题。

  • Highway Network的原理?
    Highway Network相当于修改了每一层激活函数，此前的激活函数是对输入信号做了非线性变换y=H(x,W),Highway Network则允许保留一定比例的原始输入x,即y=H(x,W1)T(x,W2)+xC(x,W3),这里T为变换系数，C为保留系数。在这样的设定下，前面一层的信息，有一定比例的可以直接传输到下一层(不经过矩阵乘法和激活函数变换),如同网络传输中的一条高速公路，因此得名Highway Network。Highway Network主要通过gating units学习如何控制网络中的信息流，即学习原始信息应保留的比例。这个可学习的gatting机制，正是借鉴Schmidhuber教授早年的的LSTM网络中的gatting。这正是Highway Network的引入，使得几百层乃至上千次的网络可以训练了。

• ResNet网络与Highway Network之间存在怎样的关联？
  这两个网络具有高度相似性, 均旨在应对网络深度增加所带来的挑战. 高way网络所采用的基本思路则为ResNet提供了重要的解决思路. （接下来将详细阐述这一问题的提出）

2.1）深度残差学习（Deep Residual Learning）

该平台提供了一种高效的多线程处理机制来优化资源利用率。
该系统采用了一种创新的分布式架构设计。
系统运行状态可以通过实时监控工具进行查看。
系统性能参数包括响应时间、吞吐量以及错误率等指标。
该系统支持多种主流编程语言的集成开发。
系统架构采用了微服务模式以提高系统的扩展性和可维护性。
系统运行状态可以通过实时监控工具进行查看。
该平台提供了一种高效的多线程处理机制来优化资源利用率。
系统性能参数包括响应时间、吞吐量以及错误率等指标。
该系统支持多种主流编程语言的集成开发。
系统架构采用了微服务模式以提高系统的扩展性和可维护性。