算法进阶--朴素贝叶斯，贝叶斯网络，D-separation

算法进阶--贝叶斯网络

该分类器基于Naive Bayes算法

* 三种通过贝叶斯网络判定条件独立
* D-separation-有向分离

朴素贝叶斯

• 朴素贝叶斯是假设样本特征之间相互条件 独立（给定条件y时互相独立）
  如：(通过n个特征来判断样本y的分类)
  P(y|x_1,x_2,x_3...x_n)=\frac{P(x_1,x_2,x_3...x_n|y)P(Y)}{P(x_1,x_2,x_3...x_n)}
  在上式贝叶斯公式中，如果特征之间不条件独立，则会有：(对于分子,只展开x1的话)
  P(x_1,x_2,x_3...x_n|y)=P(x_1|y)P(x_2,x_3..x_n|y,x_1)
  若是特征之间相互独立的话：
  P(x_1,x_2,x_3...x_n|y)=P(x_1|y)P(x_2,x_3..x_n|y)
  也就是：
  P(x_1,x_2,x_3...x_n|y)=P(x_1|y)P(x_2|y)P(x_3|y)....P(x_n|y)
  所以最终求的就是：（p(x)为全概率公式，其实是定值来的，也就是分母可以省略）
  y =argmaxP(y)\prod_{i=1}^{n}P(x_i|y)

高斯朴素贝叶斯

y =argmaxP(y)\prod_{i=1}^{n}P(x_i|y)

• 在朴素贝叶斯的基础上，特征服从高斯分布：

通过最大后验估计（MAP）来计算P(y)

多项分布朴素贝叶斯

y =argmaxP(y)\prod_{i=1}^{n}P(x_i|y)

• 假设特征遵循多项式分布，则针对每个类别y而言，在给定变量下其参数定义为向量θ_y=(θ_{y1},θ_{y2},…,θ_{yn})其中n表示特征的数量在给定类别条件下变量x_i的概率由θ_{yi}决定。
  • 基于最大似然估计的方法得出的结果是：

其中：假设有训练集T

贝叶斯网络

定义： 有向无环图=贝叶斯网络

全连接贝叶斯网络

定义：每一对节点之间都有边相连

三种通过贝叶斯网络判定条件独立

• 第一种：已知一个根节点，则根节点下的子节点之间是相互独立的 （tail to tail ）：

数学推导 ：

• 第二种： 已知中间节点，则前后节点之间是独立的 ：（head to tail ）

数学推导 ：

• 第三种，未知子节点的情况下，两个根节点时条件独立的 ：（head to head）：

数学推导 ：

D-separation-有向分离

给定任意三个节点集合A, B, C，在图论中我们通常会考察从A集合中的任一节点至B集合中的任一节点的所有路径。当设定A与B条件独立时，则必须确保所有这样的路径都被阻断。

若判定气体（Gas）与无线电（Radio）之间是否存在相互独立性，则需考察系统中节点A与节点B均拥有通过中间节点C的tail到 tail连接路径；此时可推断出气体（ Gas）仅存在于节点B内部空间，则由此可知气体（ Gas）与无线电（ Radio）之间亦为相互独立关系。