[贝叶斯一]之贝叶斯理论

一、基本概念

贝叶斯理论是机器学习领域中的关键工具之一，在托马斯贝叶斯于1763年发表的重要论文中首次提出这一理论框架后逐渐发展完善。该理论主要针对随机事件的可能性进行评估，并广泛应用于预测分析等场景中。例如，在计算今天下雨的概率时可采用贝叶斯方法来建立相应的概率模型以实现精准预测。

在探讨贝叶斯理论之前，在Statistical Pattern Recognition领域中我们首先要回顾一些相关的概率知识。假设有l个随机向量X = [x_1, x_2, x_3,...,x_l]^T属于实数空间R^l的空间，并且这些数据被划分为M个类别\Omega = \{w_1, w_2, w_3,...,w_m\}。下面将介绍三个常用的理论概念：概率密度函数、边缘概率以及后验概率等关键指标。

• 首先是类别 w_i出现的概率，我们称之为先验概率(priori probability) 。 p(w_i), i = 1,2,3,4,......M
• 然后是某个样本属于类别w_i的概率，称为后验概率(Posterior probability)： p(w_i|x),i=1,2,3……M.
• 最后是似然(Likelihood)： p(x|w_i ),i=1,2,3……M .

贝叶斯公式即为一种用于计算条件下出现可能性的方法，在给定条件下事件A的概率即为事件A与该条件共同出现的可能性与该条件单独出现的可能性之比，在数学上可表示为P(A|B) = \frac{P(AB)}{P(B)}

二、全概率公式

这部分内容主要涉及概率论的相关知识，请查阅站点的基础数学模块中关于具体实例的内容。这里采用简洁明了的方式直接陈述定理内容。

定理(来自《概率论》教材）：
设试验E的样本空间记作\Omega = S（其中\Omega=），事件A\subseteq S=...

上式就称为全概率公式 。

物理意义 ：全概率公式是由条件概率公式推导而来，当P(B)>0的时候，P(AB) = P(A|B)P(B).

三、贝叶斯公式

定理(来源于浙大概率论第4版)：
考虑一个概率空间Ω作为该试验的基础。令A为此试验中的一个特定事件，并假设其概率大于零（即P(A)>0）。此外，在讨论此定理时，默认将样本空间Ω划分为若干互不相交且并集等于Ω的部分（即B₁,B₂,…,Bₙ），其中每个子集Bᵢ的概率也大于零（即P(Bᵢ)>0）。

证明：
由条件概率的定义及全概率公式既得：

通常的，在进行分类判断的时候，我们将贝叶斯公式写成如下形式。

其中：

• 表示第i个类别，w就是总类别的一个划分
• x表示一个样本

我们对上式两边取对数，得到如下形式。

例题（来自概率论浙大第4版）：

三、参考文献

[1] 《概率论与数理统计(浙大第4版)》

---

其他平台仅进行信息转发（留言内容可能无法查看），诚邀各位同学访问我的个人博客：https://faicity.com/