【深度学习】循环神经网络

【深度学习】循环神经网络

一、前馈式神经网络

其中输出层与输入层是对外部可见的，在神经网络结构中不可见的部分即为隐含层（这也正是隐含层的存在意义所在）。只要隐含层数量足够多，则能够逼近现实世界中任意一个函数；每个圆形节点代表一个神经元。

神经元：

可以看出他将神经元的所有输入进行加权总和计算 在得到总和后执行非线性转换以产生输出结果 在加权过程中引入了一个常数项作为偏置 在神经科学领域 这个非线性转换通常被称为激活函数

对于我们的神经网络来说一个神经网络等同于一个巨大的复核函数当神经元层级越高时这个复合函数叠加次数会增加最终使得模型具备更强的表现能力。（我们只关注这个网络的结构而不关心其解析式）

二、什么是循环神经网络？

1.神经网络中的循环连接

如图所示，在图中定义普通连接为每个神经网络中的连接关系；当我们在两个神经元之间建立一个循环链接时，则形成了一个环状结构；因此被称作循环网络

2.循环网络和序列数据

循环网络主要用于处理离散序列数据（其特点包括具有离散线性特征，并且长度具有可变性）

循环网络可用于

• 序列数据分析与处理用于市场动向预测。
• 生成过程从图像中提取歌词内容。
• 转换方法包括语音转写与智能机器翻译。

三、循环网络的展示表示

通过观察循环单元可以看出其中A代表算法xt表示输入yt表示输出结果能够反向作用于神经网络形成一个循环也就是一个基本的循环单元即意味着当前时刻除了xt之外还包含这一时刻本身的input将它展开展开后在这种展开展开下没有环可以看到在这种展开展开下输出并非连续而是能够在各个不同时间点分散呈现例如书中的input和output并不是仅在x1时出现而是按照时间顺序依次出现比如先给定x1得到h1然后再给定x2进行下一步计算

激活函数，从sigmid变成tanh双曲正切函数（循环网络的输出是可选的）

四、自然语言处理

语言模型用于对给定一个句子判断其是生成语还是人话的基础上时序语音序列进行转码，并在将时序语音序列转为发音的过程中还涉及将发音转为实际文字。然而在发音转为实际文字的过程中会出现很多异常现象如图所示

根据他能判断的能力来看, 这个人的古典文学语言模型表现不佳, 该首诗原本的概率是1, 他却无法识别。

将一个句子分割成多个子概率事件，则被称为概率分解过程；然而当这个句子变得非常长时，则这种分解方法就没有实际应用价值了。因此进而提出了一种新的模型以解决这一问题。然而二元文法同样存在不足之处。

语言模型的评价是通过困惑度来展示的：

处理的方法在分解时并没有实际价值。由此导出了以下模型结构。然而二元文法同样存在不足。

语言模型的评价是通过困惑度来展示的：