概率论信息论基础（随机变量、常用概率分布、贝叶斯规则、信息论基础、结构化概率模型）
目录
随机变量及其概率分布
独立性
期望方差协方差
常用概率分布
常用函数
贝叶斯规则
信息论基础
结构化概率模型
如果这篇文章对你有一点小小的帮助，请给个关注喔我会非常开心的
随机变量及其概率分布
随机变量遵循可以取不同值的规律，并由一个概率分布来对应于每个状态的可能性。
对于具有不同取值的可能性进行描述的随机变量类型被称为离散型随机变量；它们通常被通过概率质量函数（PMF）来建模，并也被称为概率分布规律。
Continuous random variables are typically represented by the probability density function (PDF), which assigns a probability to each possible area within its domain.
的无限小区域内的概率为
。
多个变量的概率分布被称为联合概率分布 ，例如
也可以简写
。
假设我们有一个联合概率分布P(X,Y)，想要获取某个子集的概率分布P(X)，可以通过计算另一个变量Y的总和来得到。
在某个条件发生的情况下，计算事件的概率，称作条件概率 ，例如在
的条件下，
发生的概率，可表示为：
条件概率的链式法则：
独立性
如果满足
，则称这两个随机变量相互独立 。
如果满足
，则称这两个随机变量相互条件独立 。
期望方差协方差
关于某分布
的期望 ，表示当
由
产生时，
的平均值：
方差 表示随机变量
呈现的差异性：
方差的平方根称为标准差 。
协方差 给出了两个随机变量线性相关性的强度：
协方差的magnitude如果significantly large意味着变量显示出较大的波动性并且远离各自的average
协方差如果是正的，那么两个变量都倾向于同时取相对较大的值。
当协方差为负数时，在一个变量趋向于较大数值的同时（即当其中一个变量变大时），另一个变量趋向于较小的数值。
协方差矩阵 是一个
的矩阵，满足：
常用概率分布
伯努利分布 （Bernoulli distribution）是单个二值随机变量的分布。
二项分布 是
次重复的伯努利实验，记作
。
泊松分布 是广泛应用于描述单位时间内随机事件发生次数的概率模型
，
是单位时间内随机事件的平均发生次数。
均匀分布 表示在一段连续的范围内概率密度处处相等，记作
。
指数分布 表示概率密度呈指数分布。
高斯分布 （Gaussian distribution），也称作正态分布，是最常用的分布，记作
。
当
时，高斯分布称为标准正态分布 。
多维正态分布 ，参数
表示分布的协方差矩阵。
拉普拉斯分布 （Laplace distribution）可以在任意一点设置概率的峰值。
狄拉克delta函数 （Dirac delta function）的定义为：
狄拉克分布 经常作为经验分布的一个组成部分出现：
常用函数
logistic sigmoid 函数 ，取值范围
：
softplus函数 ，取值范围
，是 ReLu 函数的平滑形式：
sigmoid 函数和 softplus 函数之间的常用性质：
正部函数 是指
，负部函数 是指
。
贝叶斯规则
贝叶斯规则用于计算条件概率：
信息论基础
信息论的核心理念意指一个罕见事件意外地发生所携带的信息量能够更多地反映其重要性。
一个事件
的自信息 表示为：
香农熵 （Shannon entropy）表示整个概率分布中的不确定性总量，指事件所产生的期望信息总量：
当
是连续的，香农熵被称为微分熵 （differential entropy）。
接近确定性分布具有较低的香农熵，接近均匀分布具有较高的香农熵。
同一个随机变量
的两个单独的概率分布
和
，可以使用 KL 散度 来衡量分布的差异性：
KL 散度衡量的是，当我们使用一种被设计成能够使概率分布
产生的消息的长度最小的编码，发送包含概率分布
产生的符号的消息时，所需要的额外信息量。
与 KL 散度密切联系的量是交叉熵 ：
在信息论中，定义
。
结构化概率模型
通过图形结构来展示概率分布的分解形式，在这种模型中，每个节点代表一个随机变量；每条边则代表两个节点之间的概率分布。
有向模型 对于分布的每一个随机变量，都包含一个父节点
的条件概率影响因子：
例如下图，对应概率分布可分解为
：
无向模型 将分解表示成一组函数，两两之间有边连接的顶点称为团
，每个团都有一个因子
：
其中，
为归一化常数，通常是所有状态的求和或积分。
例如下图，对应概率分布可分解为
：
如果这篇文章对你有一点小小的帮助，请给个关注喔我会非常开心的