贝叶斯分类——贝叶斯网络

在"贝叶斯分类——朴素贝叶斯算法"这一主题下进行阐述，在这一框架下阐述了朴素贝叶斯分类的相关知识。其基本思想是建立基于"简单假设"的概率模型，在这种模型下推导出联合概率密度函数的具体表达式。这一过程主要基于对变量间的"独立性假设"进行建模运算，在这种条件下构建起完整的分类体系框架。然而，在实际应用场景中由于各特征变量之间通常存在较强的相互关联性关系,"独立性假设"往往难以得到满足,这导致其适用场景受到一定的限制,从而限制了其在复杂现实问题中的直接应用效果。转而发展出了能够处理更为复杂变量关系的另一种方法体系——贝叶斯网络理论（亦称作因果推理模型）。

基本概念：

一个贝叶斯网络定义包括一个有向无环图（ DAG）和一个条件概率表集合。

在有向无环图（DAG）中每个节点代表一个随机变量它既可以是可见的观测变量也可以是潜在的隐含变量通过有向边展示了各随机变量之间的条件依赖关系；每个条件概率表中的元素都与DAG中的唯一一个节点相对应并存储了该节点相对于其所有直接前驱节点的联合条件概率信息。

正如上图所示，DAG和条件概率表集合构成了一个完整的贝叶斯网络。

基本结构：

在贝叶斯网络中，有如下三种基本结构：

分别是“顺序”，“同父”和“V型”结构。

针对由基本组件构成的复杂拓扑结构，在探究有向图中各变量间的条件独立关系时，我们采用了D-separation方法。

• 在图中引入了V型结构的所有祖先节点之间的无向边。
  • 将所有有向图中的有向边转换为无向图中的无向边。
  • 若移除某一特定节点z后，变量x和y被分割成两个分离的部分，则称当z存在时x与y相互独立。

所以使用这种方法我们可以推算出在上图中：

• 在序列层面的框架下，在给定Z后（即Z已知时），变量X与变量Y相互独立。
• 在共享父母的框架下，在给定Z后（即在Z已知时），变量X与变量Y相互独立。
• 在V型拓扑关系中，在给定Z后（即在Z已知时），变量间的关系不再相互关联。

但是在“V型”结构里，Z未知时，X和Y确是独立的，证明如下：

在V型结构中已知Z的情况下讨论X与Y的独立性问题。通过图一这一实例来阐述：例如，在某位学生的成绩Grade为B的情况下（即已知Grade=B），那么此时学生的智能程度Intelligence与课程难度Difficulty就不再条件独立。具体而言，在课程难度较低时学生的智能程度较低的可能性较小；而当课程难度较高时则相反。由此可见，在某些特定条件下变量之间的独立性关系可能会受到观测变量的影响

基本定理：

贝叶斯网络中存在一条核心定理：我们表明，在给定了直接先驱节点的值之后，该节点将与所有非直接先驱的祖先节点保持条件独立性。这条定理的重要性体现在它使得我们可以方便地计算出整个网络中所有变量的联合概率分布。

多变量非独立 联合条件概率分布有如下求取公式（概率论中的链式法则）：

改写说明

其中Parents表示xi的直接前驱节点的联合。

基于这种方法，在解决对变量间独立性的严格限制方面实现了显著的效果。然而，在贝叶斯网络中也存在着许多关键的技术难点。例如，在拓扑结构构建方面遇到了诸多挑战，并且在进行联合概率分布的近似推断时也需要处理大量复杂的计算问题。后面有时间的话还会继续探讨这些细节。