Advertisement

Chapter 12 贝叶斯网络

阅读量:

1 概率公式

条件概率:

P=rac{P}{P}

全概率公式:

P=um_{i}PP

贝叶斯公式(Bayes):

P =rac{PP}{um_{j}PP}

2 贝叶斯公式

2.1 贝叶斯公式带来的思考

给定某些样本

D

,在这些样本中计算某结论

A_{1},A_{2},...,A_{n}

出现的概率,即

P
maxP=maxrac{PP}{P}

贝叶斯公式

maxrac{PP}{P}=maxP

样本给定,则对于任何

A_{i},P

是常数,仅为归一化因子。

maxP -> maxP\(D|A_{i}

:忽略

P
maxP -> maxP

:若这些结论

A_{1},A_{2},...,A_{n}

的先验概率相等(或近似),则可以由此推导。

2.2 贝叶斯公式的应用

金条问题:

设这三个箱子为B=1,B=2,B=3, 两块贵金属为M=G(金条),M=S(银条)

所以已知:

P=P=P=rac{1}{3}
P=1,P=0
P=0,P=1
P=rac{1}{2},P=rac{1}{2}

问题就转化为求

P=?

解答:

P=rac{P}{P}=rac{rac{1}{3}}{rac{1}{3}+0+rac{1}{3}dot rac{1}{2}}=rac{2}{3}

2.3 贝叶斯网络

  • 将该研究系统中包含的随机变量按照其条件独立性绘制到一个有向图上时,则会形成贝叶斯网络。
  • 贝叶斯网络(Bayesian Network),亦称作有向无环图模型,在概率图模型领域中被视为一种重要方法。
  • 基于概率图的拓扑结构分析一组随机变量的行为模式。
eft  X_{1},X_{2},...,X_{n} ight

及其

n

组条件概率分布。

  • 概率图模型分为马尔可夫网络模型(无向图)和贝叶斯网络模型(有向图)。
  • 一般而言,贝叶斯网络的有向无环图中的节点表示随机变量,它们可以是可观察到的变量,或隐变量、未知参数等。连接两个节点的箭头代表此两个随机变量是具有因果关系(或非条件独立)。若两个节点间以一个单箭头连接在一起,表示其中一个节点是“因(parents)”,另一个是‘果(children)”,两节点就会产生一个条件概率值。
  • 一个简单的贝叶斯网络

2.4 全贝叶斯网络

每一对结点之间都有边连接

p=p...pp
P=rod_{i=1}^{n}P

举例说明:当K=5时

p=pppp

2.5 "正常"的贝叶斯网络

  • 有些边缺失
  • 如下图所示:直观上
x_{1},x_{2}

独立,

x_{6},x_{7}

x_{4}

给定条件下独立
*

x_{1},x_{2},...,x_{7}

的联合分布为:

ppppppp

举例说明:

例一:

由于呼吸困难(D)所造成的原因有肺癌(C)和支气管炎(B),所以才有上表(CPD)。

例二:

全部随机变量的联合分布为:

P=PPPPP=0.9imes 0.7imes 0.001imes 0.999imes 0.998pprox 0.00063

具体来说,在计算联合分布时

2.6 “特殊”的贝叶斯网络

通过贝叶斯网络判定条件独立:

(1)情况一:tail-to-tail

由图可看出:

P=Pdot Pdot P

所以:

P/P=PP

又因为:

P=P/P

所以:

P=PP

即在c给定条件下,a和b被阻断,是独立的。

(2)情况二:head-to-tail

由于

P=Pdot Pdot P

所以有:
P=P/P= /P=/P=Pdot P

即在c给定条件下,a和b被阻断,是独立的。

(3)情况三:head-to-head

由于

P=Pdot Pdot P

所以有:

um_{c}P=um_{c}Pdot Pdot P

从而:

P=Pdot P

即在c未知的条件下,a和b被阻断,是独立的。

2.7 将上述结点推广至结点集

ps:有D-separation可知,在

x_{i}

给定的条件下,

x_{i+1}

的分布和

x_{1},x_{2}...x_{i-1}

条件独立。即:

x_{i+1}

的分布状态只和

x_{i}

这个随机过程按照一定的顺序逐步发展变化,并且与其他变量相互独立地存在,在特定条件下遵循一定的概率分布规律的现象叫做马尔科夫模型

P=P
  • 隐马尔科夫模型(HMM, Hidden Markov Model)可应用于标注问题,在语音识别、自然语言处理、生物信息学以及模式识别等多个领域均显示出显著的效果。
    • HMM是一种关于时序的概率模型,在这种模型中存在一个隐藏的马尔科夫链生成不可观测的状态序列,并通过各个状态生成对应的观测结果形成观测序列。
    • 隐马尔科夫模型中所描述的状态序列即为状态序列;每个状态对应一个观测结果,则形成了观测结果序列。这些序列中的每一个位置都可以看作是一个时间点或时刻。
    • 在空间分析中亦可应用该模型方法来研究DNA等生物信息。

2.8 贝叶斯网络的用途

全部评论 (0)

还没有任何评论哟~