大数据导论习题_大数据基础--深度学习（刘鹏《大数据》课后习题答案）

简述人工神经网络定义。

人工神经网络别称为神经网络(NN)，它是模仿生物神经系统的运作模式，并在理解和抽象了人脑结构与外界刺激响应机制的基础上，在计算机科学领域以网络拓扑理论为基础进行构建的一种数学模型。

人工神经网络通过信息处理的角度去研究和模仿人类大脑的神经系统结构，并类比于生物体内的神经信号传递过程来构建了一个基础的人工神经网络模型。通过不同类型的连接方式形成了各种人工神经网络结构。就其基本功能而言，人工神经网络与生物学中所描述的生物神经系统具有相似性。

2.简述神经网络架构。

常见的神经网络采用层级架构组织处理单元，在各层之间通过连接线路进行信息传递。其中不仅包括同层节点之间的联系以及跨层节点间的连接方式，并且各层节点之间的信息传递路径相对固定。在数据处理过程中，每一层次单元都会将前一层的信息作为输入资源进行处理，并将处理结果传递给下一层次的处理单元完成最终的任务计算。

3.简述误差逆传播算法。

基于逆传播(BP)的反馈机制中指出: 输入层通过特定通道将数据传递至隐藏层, 而隐藏层则根据各节点间的联系强度即权重以及确定的信息传输路径即激活函数来处理信息并将其传递给下一层. 输出层接收并处理输入信息后, 生成最终结果. 当实际输出与预期结果不一致时, 计算出差异作为误差信号. 通过反向传播算法计算误差信号后, 在网络中逐一调整各连接权重以优化模型参数.

BP的学习规则：采用梯度下降算法，在反向传播机制下持续更新神经网络中的权重参数及偏差项；计算神经网络输出与样本目标之间的均方误差最小化；以使神经网络输出与预期结果最为接近的目标权重参数组成为最终解。

4.大数据与深度学习之间有什么样的关系？

随着CPU和GPU计算能力的进步显著提升,深度学习受益于更为高效的基础硬件平台.在数据时代的大背景下,海量数据通过缓解早期神经网络因训练样本不足而导致的过拟合现象,并降低了其泛化能力,有效解决了这一关键问题.从而使得大数据与深度学习之间形成了相互依存的关系,共同推动了智能技术的进步和发展.

5.简述人工智能的未来发展。

人工智能将成为人类生活的核心组成部分。花朵可能会发展出智能化能力，并根据主人的情绪状态来调节自身的开放程度；每个人可能配备一个智能化助手，在日常生活中促进消费者更加理智地进行消费决策；此外，在宗教信仰方面也可能发挥一定的辅助作用。未来的智能化技术将在多个领域取代人类工作，并为人类提供日常生活所需的服务

6.目前影响力比较大的深度学习模型有哪些？

(1)卷积神经网络

(2)深度置信网络

(3)循环神经网络

7.自动编码器主要有哪两种变体？

稀疏编码器(Sparse AutoEncoder)是一种用于数据降维的技术模型，在神经网络领域具有重要应用价值。(当隐层节点数量低于输入时)，该模型将执行一种降维过程(类似于主成分分析法PCA)；通过在AutoEncoder中间隐藏层引入L1正则化约束(其中L1正则化通过迫使大部分节点值为零来实现特征选择)，我们能够获得稀疏自编码器模型(Sparse AutoEncoder)，这种方法能够有效减少模型复杂度并提高泛化能力

(2)降噪自动编码(Denoising AutoEncoder)。其中最具代表性的就是去噪自编码器（Denoising AutoEncoder），它具有广泛的适用性，并且其主要特点在于能够有效去除噪声，并且其隐藏层节点数量必须少于输入层节点数量。其中去噪自编码器只需要去掉噪声即可完成任务；而Masking Noise的自编码体则采用随机遮挡噪声替代高斯噪声的方式进行处理；相比之下，在模型架构上要求隐藏层变量服从特定概率分布的同时还需要引入额外的KL散度损失项来进行正则化；为了实现高效的优化目标，则采用了特殊的SGVB（Stochastic Gradient Variational Bayes）算法来进行训练操作。目前而言，在生成模型领域中变分自编码体已经展现了巨大的应用价值

8.卷积神经网络主要有哪些特点？

感受域，在卷积神经网络架构中，神经元仅对视野中的特定区域产生反应，并被称为局部响应域。

权值共用，在该卷积层中，所有的神经元都是通过同一个卷积核对不同区域的数据做出响应而产生的；它们共用同一个卷积核。

降采样，在卷积处理之后，通常会对卷积层输出的特征信息进行汇总分析

9.降采样操作常用的类型有哪些？

(1)卷积层(Convolutional Layer)。卷积层是卷积神经网络中的核心部件。

(2)池化层(Pooling Layer)。在卷积神经网络中, 池化是另一个关键的概念。通过执行非线性降采样操作, 将输入划分为多个互不重叠的小矩形区域并生成一个特征值

该网络架构中存在一层全连接结构。在经历了多个卷积操作以及池化处理后，在经历了多个卷积操作以及池化处理后, 卷积神经网络的高层通过该网络架构中存在一层全连接结构实现其功能

10.简述循环神经网络的架构。

循环神经网络具有环状连接架构，在处理序列数据时展现出独特的特性。其隐藏层内的各神经元之间相互连接形成反馈回路，在此过程中能够维持网络内部的状态信息（state information），这些状态反映了序列输入的历史数据（historical data）。该系统成功地描绘了时序动态行为的本质特征。

11.分别简述CNTK、MXNet、Theano、Torch深度学习软件的特点。

Torch的主要特点：

(1)很多实现索引、切片、移调的程序。

(2)通过LuaJIT的C接口。

(3)快速、高效的CPU支持。

(4)可嵌入、移植到iOS、Android和FPGA的后台。

DeepLearning4j主要特点：

(1)依赖于广泛使用的编程语言Java。

(2)集成了Cuda内核，支持CPU和分布式GPU。

(3)可专门用于处理大型文本集合。

(4)Canova向量化各种文件形式和数据类型。

12.简述深度学习在现实生活中的应用。

(1)语音识别

(2)图像分析

(3)自然语言处理