贝叶斯公式整理

目录

• 0.补充
• 1.贝叶斯公式思想
• 2.事件的贝叶斯公式
• 3.连续型二维随机变量的贝叶斯公式
• 4.贝叶斯公式估计分布中的未知参数

0.补充

事件的乘法公式：(1)若P(A)>0,则P(AB) = P(A)P(B|A)
(2)若P(A_1A_2...A_{n-1})>0,则P(A_1A_2...A_{n-1}A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1A_2)...P(A_n|A_1A_2...A_{n-1})

全概率公式 :设B_1,B_2,...,B_n是样本空间的一个划分，即B_1,B_2,...,B_n互不相容，且\quad \bigcup_{i=1}^{n}B_i=\Omega,如果P(B_i)>0,i=1,2,...,n,则对任意事件A有：
P(A) = \sum_{i=1}^{n}P(B_i)P(A|B_i)
理解：若A 是一个复杂的事件，可以通过此全概率公式求解。即A发生的概率为A 在不同情况B_i下的加权平均和，每一项的权重为对应情况B_i发生的概率。
例子：摸彩模型
设在n张彩票中有一张奖券，求第二个人摸到奖券的概率是多少？
解：设第二个人摸到奖券为事件B，直接求事件B不好算。可以考虑不同情况下事件B的概率，然后利用全概率公式求加权和。显然，此事件与前一个人是否摸到奖券有直接关系，设A_1为第一个人摸到奖券，\bar{A_1}为第一个人没有摸到奖券，分别计算B 在这两种情况下的概率为：
P(B|A_1)=0 ; P(B|\bar{A_1})= \frac{1}{n-1}

由全概率公式可得：P(B)=P(A_1)P(B|A_1)+P(\bar{A_1})P(B|\bar{A_1})=\frac{n-1}{n} \frac{1}{n-1}=\frac{1}{n}
第二个人与第一个人抽到奖券的概率是一样的，但前提是第二个人不知道第一个人的抽奖结果。同理，在后一个人不知道前一个人的抽奖结果时，第3、4、…、n个人抽到奖券的概率均为\frac{1}{n}.
但是在后一个人知道前一个人的抽奖结果时，相应的每个人抽到奖券的概率也就变了。

1.贝叶斯公式思想

从上述的摸彩问题可以看出，我们知道的信息多少直接决定我们所求事件的概率的大小。
贝叶斯学派认为：一件事件的概率是人们根据经验对该事件发生的可能性所给出的个人信念，称为主观概率。主观概率的确定可以根据自己的经验或者是别人的经验确定。例如：对于某项有风险的投资，某个专家认为成功的可能性为60%，而这个专家的估计往往是偏保守型的，我们可以修正为成功的概率为70%。

在真实世界里，我们所做的往往是根据事发后的现象，和某种先验信息结合，去估计事物的可能性，这正是贝叶斯的思路。

2.事件的贝叶斯公式

P(B|A) = \frac{P(A|B)P(B)}{P(A|B)P(B)+P(A|\bar{B})P(\bar{B})}

先用乘法公式再用全概率公式可证明。
理解：B是“因”或是“先”，故我们求P(B|A) 是违背了真实的事件发生的先后顺序，所有必须转化为P(A|B)来求。知道了事件A的信息后，我们可用P(B|A)去修正事件B的无条件概率P(B)。

更一般的，多个事件的贝叶斯公式为：
P(B_i|A) = \frac{P(B_i)P(A|B_i)}{\sum_{j=1}^{n} P(B_j)P(A|B_j) }

3.连续型二维随机变量的贝叶斯公式

p(x|y)=\frac{p(y|x) p_{X} (x)}{\int_{- \infty}^{\infty} p(y|x)p_{X}(x) dx }

4.贝叶斯公式估计分布中的未知参数

在统计推断中，贝叶斯学派用三种信息去估计未知参数，分别问：总体信息、样本信息和先验信息。与经典学派不同的是，除了使用总体信息和样本信息，贝叶斯统计还注意使用先验信息的收集、挖掘和加工，使他数量化，形成先验分布，用于统计推断中去。
\pi(\theta|X) = \frac{p(X|\theta) \pi(\theta)}{\int_{\Theta}^{} p(X|\theta) \pi(\theta) d\theta } = \frac{h(X,\theta)}{\int_{\Theta}^{} h(X,\theta) d \theta}
其中，X=(x_1,x_2,...,x_n)为样本，
\pi(\theta)为\theta 的先验分布，\pi(\theta|X)是有了总体、样本和先验信息之后，对\pi(\theta)作的修正。
使用后验分布\pi(\theta|X)的均值作为\theta 的点估计，称为\theta的贝叶斯估计或后验期望估计。
即：\hat{\theta}_B = E(\theta|X)

参考文献：
【1】茆诗松，程依明，濮晓龙.概率论与数理统计教程（第二版）[M].北京：高等教育出版社，2004，3.
【2】知乎的一篇文章：怎么简单理解贝叶斯公式？