【深度学习】深度学习介绍

深度学习介绍

基本概念

• 符号主义 20世纪50-70

  • 专家系统占主导
    • 图灵设计国际象棋
    • IBM跳棋程序战胜人类高手

• 统计主义 20世纪80-2000

  • 主要用统计模型解决问题
    • 1993 SVM

• 神经网络 21世纪初期

  • 神经网络 深度学习流派
    • 2012 AlexNet 深度学习开山之作
    • 2016 AlphaGO 战胜李世石

• 大规模预训练模型 2017-至今

  • 2017 Transformer 自然语言处理NLP框架出现
  • 2018 Bert 和 GPT 出现
  • 2022 ChatGPT 出现
  • 2023 至今 百模大战 大模型进入快速发展阶段

深度学习是机器学习的一个子集

1. 人工智能（AI）：这是最广泛的概念，指的是使机器能够模拟人类智能行为的技术和研究领域。AI包括理解语言、识别图像、解决问题等各种能力。
2. 机器学习：机器学习是实现人工智能的一种方法。它涉及到算法和统计模型的使用，使得计算机系统能够从数据中“学习”和改进任务的执行，而不是通过明确的编程来实现。机器学习包括多种技术，如线性回归、支持向量机（SVM）、决策树等。
3. 深度学习：深度学习是机器学习中的一种特殊方法，它使用称为神经网络的复杂结构，特别是“深层”的神经网络，来学习和做出预测。深度学习特别适合处理大规模和高维度的数据，如图像、声音和文本。
   

• 所有深度学习都是机器学习,弹并非所有机器学习都是深度学习
• 这种技术使用被称为’神经网络’的算法结构,灵感来源于人脑的神经元网络
• 在深度学习的过程中,每一层神经网络都对输入数据进行处理,从而学习到数据中的特征和模式
• 深度学习的关键是’反向传播’算法,他通过计算损失函数,并将这种误差返回给网络的每一层,来调整每层的权重
• 深度学习的成功依赖于大量的数据和强大的计算能力

使用场景

• 图像识别处理
• 自然语言处理NLP
• 音频处理
• 视频分析
• 游戏和仿真
• 自动驾驶汽车
• 推荐系统
• 金融领域
• 医疗领域

研究成果和趋势

• 自然语言处理NLP的进步

  • 更强大的语言模型 如GPT-4
  • 细粒度的语言理解

• 计算机视觉的创新

  • 更准确的图像识别
  • 视频理解

• 强化学习的突破

  • 自我学习能力的增强 如deepmind的alphazero
  • 现实世界的应用 如机器人

• 医疗和生物学的应用

  • 药物发现和疾病诊断
  • 基因组学

• 声音处理和音乐创造

• 解释性和透明度的提升

• 深度学习技术的优化

流行框架及算法

深度学习框架

1.TensorFlow

TensorFlow是Google开发的一款开源软件库，专为深度学习或人工神经网络而设计。TensorFlow允许你可以使用流程图创建神经网络和计算模型。它是可用于深度学习的最好维护和最为流行的开源库之一。TensorFlow框架可以使用C++也可以使用Python。你可以使用TensorBoard进行简单的可视化并查看计算流水线。其灵活的架构允许你轻松部署在不同类型的设备上。不利的一面是，TensorFlow没有符号循环，不支持分布式学习。此外，它还不支持Windows。

• 出生地：Google
• 特点：计算图、分布式训练效果强、底层C构建速度快，生态强大
• 主要调包语言：Python、C/C++、JS
• 评价：对标Pytorch、学术界没市场了、部署更加的方便
• 入门推荐：建议做工程的小伙伴入门

2.Pytorch

Pytorch是Meta(前Facebook)的框架，前身是Torch，支持动态图，而且提供了Python接口。是一个以Python优先的深度学习框架，不仅能够实现强大的GPU加速，同时还支持动态神经网络。Python是现在学术界的霸主，对于想要做学术的同学绝对首推(重点)。

• 出生地：FaceBook
• 特点：生态强大、入门爽歪歪、代码量少(重点)
• 主要调包语言：Python、C/C++
• 评价：入门很快、速度有点慢、部署很垃圾、学术界的霸主
• 入门推荐：想要做学术的同学绝对首选，几乎现在顶会论文的代码都是这个框架写的。

3.PaddlePaddle

百度推出的深度学习框架，算是国人最火的深度学习框架了。更新了2.0的高级API与动态图后，Paddle更加的强大。百度有很多PaddlePaddle的教程，对于初学者来说还是相当不错的。PaddlePaddle有很多便捷的工具，比如Detection、CV、NLP、GAN的工具包，也有专门的可视化工具(远离Tensorboard的支配)。

• 出生地：百度
• 特点：计算图动态图都支持、有高级API、速度快、部署方便、有专门的平台
• 主要调包语言：Python、C/C++、JS
• 入门推荐：如果没有卡那就非常适合，如果算力不缺，建议先看Pytorch，当然也可以PaddlePaddle。

4.Keras

Keras可以当成一种高级API，它的后端可以是Theano和tensorFlow(可以想成把TF的很多打包了)。由于是高级API非常的方便，非常适合科研人员上手。

• 作者：Google AI 研究人员 Francois Chollet
• 特点：生态强大、入门爽歪歪、代码量少(重点)
• 主要调包语言：Python、C/C++、JS
• 评价：太适合入门了、速度有点慢、版本得匹配后端框架的版本
• 入门推荐：强推入门首选，但是后续一定要看看算法的底层是怎样工作的。

5.Caffe/Caffe2

Caffe是顶级高校UCB的贾扬清博士开发的，主要是适用于深度学习在计算机视觉的应用。使用Caffe做算法代码量很少，经常就是修修改改就能用，神经网络模型的管理非常的方便，而且算是比较早的部署在各种落地场景中。Caffe2可以理解为一个新版本的Caffe，但是有很多不同，Caffe2后来并入了Pytorch。该工具支持Ubuntu，Mac OS X和Windows等操作系统。

• 作者：UCB 贾扬清博士
• 特点：计算图、部署方便、训练方便、cuDnn与MKL均支持
• 主要调包语言：Python、Matlab脚本、C++
• 评价：卷积人的大爱、环境不好配置、感觉偏底层、Caffe2还是Pytorch
• 入门推荐：不是很建议，真的想了解可以先入门Pytorch

6.MXNet

MXNet 是一个社区维护起来的深度学习框架，后来被亚马逊看上了。有类似于 Theano 和 TensorFlow 的计算图，也有灵活的动态图，摒弃有高级接口方便调用。MXNet的底层为C构建，优化的很好，很多推理框架都能直接转换，非常方便。

• 出生地：社区
• 特点：计算图动态图都支持、有高级API、速度快、部署方便
• 主要调包语言：Python、C/C++、JS(js用的相对少)
• 评价：一定意义上是国人的框架、小团体整的社区维护、文档少生态不行

入门推荐：一般。

7.Theano

Theano是07年左右开发的一个多维数组的计算库，支持GPU计算，当时很多人当成“支持GPU的Numpy”，底层优化的非常好，支持导出C的脚本。

• 出生地：蒙特利尔大学
• 特点：计算图、Python+Numpy、源于学术界
• 主要调包语言：Python
• 评价：很臃肿、不支持分布式、被后面的TensorFlow打击的很大
• 入门推荐：绝对不建议，真的要用的话，先学习别的框架再看Github就行了

8.Torch

Torch是一款针对ML算法且又简单易用的开源计算框架。该工具提供了高效的GPU支持，N维数组，数值优化例程，线性代数例程以及用于索引、切片和置换的例程。基于Lua的脚本语言，该工具带有大量预先训练好的模型。这款灵活高效的ML研究工具支持诸如Linux，Android，Mac OS X，iOS和Windows等主流平台。

9.CNTK

Microsoft Cognitive Toolkit是具有C#/C++/Python接口支持的最快的深度学习框架之一。此款开源框架带有强大的C++ API，比TensorFlow更快、更准确。该工具还支持内置数据读取器的分布式学习。它支持诸如前馈，CNN，RNN，LSTM和序列到序列等算法。该工具支持Windows和Linux。

• 出生地：微软
• 特点：非常严谨、语音上有一些优势、难度有点高
• 调包语言：C++、Python
• 评价：适合语音方面的开发工作
• 入门推荐：不建议，看看就好。

10.ONNX

ONNX是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。它使得不同的人工智能框架（如Pytorch, MXNet）可以采用相同格式存储模型数据并交互。用大白话说就是是一个中间件，比如你Pytorch的模型想转换别的，就得通过ONNX，现在有的框架可以直接转，但是在没有专门支持的时候，ONNX就非常重要了，万物先转ONNX，ONNX再转万物。ONNX本身也有自己的模型库以及很多开源的算子，所以用起来门槛不是那么高。

• 出生地：有点多，很多大厂一起整的
• 特点：万能转换
• 主要调包语言：Python、C/C++
• 入门推荐：不用刻意学习，用到了再看。

深度学习推理框架

TensorRT

TensorRT是NVIDIA公司推出的面向GPU算力的推理框架，在服务端和嵌入式设备上都有非常好的效果，但是底层不开源。TensorRT的合作方非常的多，主流的框架都支持。如果有GPU的话，传统的算子可以用CUDA，深度学习搞成TensorRT。

• 出生地：NVIDIA
• 特点：自产自销NVIDIA不多解释，框架支持很多，生态很棒，稳定性高
• 主要调包语言：Python、C/C++
• 推荐平台：NVIDIA Jetson系列的嵌入式、NVIDIA的GPU(一条龙)
• 支持模型：TensorFlow1.x、TensorFlow2.x、Pytorch、ONNX、PaddlePaddle、MXNet、Caffe、Theano，Torch，Lasagne，Blocks。
• 入门推荐：非常适合入门，直接在自己的GPU上做测试就行。

2.TF-Lite

TF-Lite是谷歌针对移动端的推理框架，非常的强大。强大的原因在于Keras、TensorFlow的模型都能使用，而且有专门的TPU和安卓平台，这种一条龙的服务让TensorFlow在部署方面还在称霸。TF-Lite如果用Keras、TensorFlow的模型去转换一般来说都是脚本直接开搞，自己重构的部分相对少很多。

• 出生地：Google
• 特点：一条龙的服务专属平台
• 主要调包语言：Python、C/C++、Java
• 支持模型：Keras、TensorFlow、ONNX
• 推荐平台：几乎所有的ARM处理器和微控制器(树莓派，甚至单片机)、TPU专享
• 入门推荐：TFboys(TensorFlow使用者)的必备，毕竟一条龙，还有机会了解TPU，非常贴心。

3.OpenVINO

OpenVINO是Intel的推理框架，一个超级强的推理部署工具。工具包中提供了很多便利的工具，例如OpenVINO提供了深度学习推理套件(DLDT)，该套件可以将各种开源框架训练好的模型进行线上部署，除此之外，还包含了图片处理工具包OpenCV，视频处理工具包Media SDK。如果是针对Intel的加速棒或者工控机上部署真的是非常不错的。

• 出生地：Intel
• 特点：面向Intel设备的加速，便捷使用，安装和SDK很方便
• 主要调包语言：C/C++、Python
• 支持模型：TensorFlow、Pytorch、ONNX、MXNet、PaddlePaddle
• 推荐平台：自己的电脑、Intel神经网络加速棒、Intel的FPGA
• 入门推荐：作为入门还是不错的，只是落地场景有点少，毕竟现在是边缘设备的时代 因为工业上工控机多但是深度学习模型用的还是少，很多都是传统的算法，很多落地场景中上Intel的处理器并不占优势。

4.CoreML

CoreML是苹果公司推出针对ios以及macOS系统部署的机器学习平台，底层不开源。在苹果设备上，CoreML的速度是最快的，但是也只能用于苹果的设备上。

• 出生地：Apple
• 特点：面向苹果设备，专业设备上速度第一，稳定、入门简单
• 主要调包语言：C/C++、Python、Obj-C、Swift
• 支持模型：TensorFlow、ONNX、Pytorch、ONNX、MXNet、Caffe
• 推荐平台：iMac、MacBook、iPhone、iPad、AppleWatch
• 入门推荐：针对Apple的开发者，业余选手得买个MBP

5.NCNN

NCNN是腾讯推出的推理框架，一定意义上是之前使用非常广的一个推理框架，社区做的也非常棒。NCNN的速度是超过TFLite的，但是有点麻烦的是之前得经常自己用C去复现一些算子(框架起步都这样)，现在因为使用的人数很多，因此算子很多。NCNN对于X86、GPU均有支持，在嵌入式、手机上的表现非常好。

• 出生地：腾讯优图实验室
• 特点：面向移动端的加速、手机处理器的加速单元支持很棒
• 主要调包语言：C/C++、Python
• 支持模型：TensorFlow、ONNX、Pytorch、ONNX、MXNet、DarkNet、Caffe
• 推荐平台：安卓/苹果手机、ARM处理器设备
• 入门推荐：对于嵌入式或者APP开发有经验的同学绝对首推的

6.MNN

MNN是阿里巴巴推出的移动端框架，现在也支持模型训练，支持OpenCL，OpenGL，Vulkan和Metal等。同样的设备，MNN的部署速度是非常快的，树莓派3B上cpu的加速是NCNN速度的3被以上，而且文档非常的全，代码整洁清晰，非常适合开发者使用。

• 出生地：阿里巴巴多部门合作
• 特点：面向移动端的加速、应该是现在速度之最
• 主要调包语言：C/C++、Python
• 支持模型：TensorFlow、ONNX、Pytorch、MXNet、NCNN、Caffe、TF-Lite
• 推荐平台：安卓/苹果手机、ARM处理器设备
• 入门推荐：首推的部署推理框架，绝对的好用，在苹果设备上的速度也很棒。MNN框架感觉比NCNN稳定一些，而且源码非常整洁，研究底层也是非常方便。

7.Tenigne

Tenigne-Lite是OpenAILab推出的边缘端推理部署框架，OpenCV官方在嵌入式上的部署首推Tenigne-Lite。现在对于RISC-V、CUDA、TensorRT、NPU的支持非常不错。Tengine是现在来说感觉安装环境中bug最少的框架，几乎安按照文档走不会出问题的。

• 出生地：OpenAILab
• 特点：面向移动端的加速、速度和MNN不相上下、对于嵌入式的支持非常好
• 主要调包语言：C/C++、Python
• 支持模型：TensorFlow、ONNX、DarkNet、MXNet、NCNN、Caffe、TF-Lite、NCNN
• 推荐平台：安卓手机、ARM处理器设备、RISC-V
• 入门推荐：嵌入式开发的小伙伴可以入手 Tengine-Lite是个朝气蓬勃的框架，虽然出的时间并没有其他框架早，但是框架性能、易用性还是非常适合嵌入式玩家的。

8.NNIE

NNIE 即 Neural Network Inference Engine，是海思 SVP 开发框架中的处理单元之一，主要针对深度学习卷积神经网络加速处理的硬件单元，可用于图片分类、目标检测等 AI 应用场景。

支持现有大部分公开的卷积神经网络模型，如 AlexNet、VGG16、ResNet18、ResNet50、GoogLeNet 等分类网络，Faster R-CNN、YOLO、SSD、RFCN 等检测目标网络，以及 FCN 、SegNet 等分割场景网络。目前 NNIE 配套软件及工具链仅支持以 Caffe 框架，使用其他框架的网络模型需要转化为 Caffe 框架下的模型。

华为海思NNIE非常强大，之前移动端真的快霸主，但是现在受制约芯片停产。

9.RKNN

Rockchip提供RKNN-Toolkit开发套件进行模型转换、推理和性能评估。

模型转换：支持 Caffe、Tensorflow、TensorFlow Lite、ONNX、Darknet 模型，支持RKNN 模型导入导出，后续能够在硬件平台上加载使用。

模型推理：能够在 PC 上模拟模型并获取推理结果，也可以在指定硬件平台RK3399Pro Linux上模型并获取推理结果。

性能评估：能够在 PC 上模拟并获取模型总耗时及每一层的耗时信息，也可以通过联机调试的方式在指定硬件平台 RK3399Pro Linux上模型，并获取模型在硬件上时的总时间和每一层的耗时信息。

算法

• 卷积神经网络CNN

  • 适用于图像识别 视频分析 医学影像等
  • 特别擅长处理带有空间关系的数据

• 循环神经网络RNN及其变体

  • 适用于时间序列数据处理 如图像识别|音乐生成|自然语言处理
  • 能够处理序列数据中的时间动态性

• Transformer架构

  • 适用于复杂的语言理解和生成任务

• 自编码器

  • 用于数据降维 去噪 特征学习等
  • 在异常检测和数据生成中也有应用

• 生成对抗网络

  • 用于图像生成 艺术创作 数据增强等
  • 生成逼真的图像和视频

难点及挑战

（1）大量数据的需求

• 深度学习模型通常需要大量的标记数据来进行有效的训练。
• 获取、存储和处理这些数据需要显著的资源。

（2）计算资源的要求

• 训练复杂的深度学习模型需要强大的计算资源，如高性能GPU。
• 这导致高昂的计算成本，限制了深度学习的普及和应用。

（3）模型解释性和透明度

• 深度学习模型通常被视为“黑盒”，难以理解其内部工作机制和决策过程。
• 这对于需要高度可解释性的领域（如医疗和法律）构成了挑战。

（4）泛化能力和过拟合

• 虽然深度学习模型在训练数据上表现优异，但可能在新数据上泛化能力不足。
• 过拟合是一个常见问题，即模型过度学习训练数据的特定特征，而不是通用规律。

（5）数据偏见和公平性

• 如果训练数据存在偏见，模型可能会学习并放大这些偏见。
• 这在性别、种族等敏感属性的处理中尤为重要。

（6）安全性和隐私问题

• 深度学习模型可能受到对抗性攻击，即通过精心设计的输入来欺骗模型。
• 在处理敏感数据时，保护用户隐私也是一个重要考虑。

（7）持续学习和适应性

• 在不断变化的环境中，模型需要能够持续学习和适应新情况。
• 现有的深度学习模型在这方面还有限制。

（8）能源效率

• 深度学习的能源消耗是一个日益关注的问题，特别是在大规模数据中心。
• 开发更节能的模型和硬件是当前的研究热点。

这些挑战不仅推动了深度学习技术本身的发展，也促进了相关领域（如机器学习理论、计算机视觉、自然语言处理）的进步。同时，它们也提醒我们在追求技术进步的同时，需要关注伦理和社会责任。