Advertisement

统计学习方法笔记9—EM算法2

阅读量：

9.2 EM算法的收敛性

收敛定理9.1

在这里插入图片描述

观测数据的似然函数单调递增

收敛定理9.2

在这里插入图片描述

EM算法的本质在于它同时包含了两个层面的收敛性：一方面是对数似然函数序列自身的收敛性；另一方面则是参数估计序列的收敛性；即通过迭代过程必然能够达到其极值点。

9.3 EM算法在高斯混合模型学习中的应用

9.3.1 高斯混合模型（概率分步模型）

在这里插入图片描述

9.3.2高斯混合模型参数估计的EM算法

1.明确隐变量，写出对数似然函数：
隐变量：反应观测数据的高斯分布分模型

在这里插入图片描述

完全数据：观测数据和隐变量数据

在这里插入图片描述

完全数据的似然函数：

在这里插入图片描述

对数似然函数：

在这里插入图片描述

2.EM算法的E步：确定Q函数
求对数似然函数的均值：

在这里插入图片描述

计算过程略，结果：

在这里插入图片描述

3.确定EM算法的M步
利用迭代求取Q函数的极大值

在这里插入图片描述
在这里插入图片描述

全部评论 (0)

还没有任何评论哟~

相关文章推荐

统计学习方法笔记9—EM算法2

9.2EM算法的收敛性 收敛定理9.1 观测数据的似然函数单调递增 收敛定理9.2 EM算法是收敛性包含对数似然函数序列的收敛性和关于参数估计序列的收敛性，即一定可以通过迭代发现似然函数的极值点。

统计学习方法 第九章笔记： EM 算法

文章目录 三硬币模型 EM推导背景 EM算法步骤 EM算法的导出 EM算法的收敛性 如果概率模型都是观测变量，那么给定数据就可以用极大似然估计法或者贝叶斯估计发去获得模型。但是，有时候概率模型既有观测...

机器学习：《统计学习方法》笔记（三）—— EM算法

参考：《统计学习方法》——李航； 摘要 介绍了EM算法的推导过程、步骤及在三硬币模型中的应用等内容。 正文 1\.什么地方要用EM算法 EM算法主要用于含有隐含变量的模型参数估计问题。如果概率模型的变...

EM算法学习笔记

EMistypicallyusedtocomputemaximumlikelihoodestimatesgivenincompletesamples.TheEMalgorithmestimatesth...

周志华《Machine Learning》学习笔记（9）--EM算法

上篇主要介绍了贝叶斯分类器，从贝叶斯公式到贝叶斯决策论，再到通过极大似然法估计类条件概率，贝叶斯分类器的训练就是参数估计的过程。朴素贝叶斯则是“属性条件独立性假设”下的特例，它避免了假设属性联合分布过...

周志华《Machine Learning》学习笔记(9)--EM算法

上篇主要介绍了贝叶斯分类器，从贝叶斯公式到贝叶斯决策论，再到通过极大似然法估计类条件概率，贝叶斯分类器的训练就是参数估计的过程。朴素贝叶斯则是“属性条件独立性假设”下的特例，它避免了假设属性联合分布过...

【统计学习算法】EM算法

引言： Em算法是一种迭代算法，用于对含有隐变量的概率模型参数的极大似然估计。或者极大后验概率。 E步，求解期望；M步，求解极大。也成为期望极大算法。 Em算法 首先解释隐变量，隐变量是指我们无法观测...

EM算法的学习笔记

EM算法说起来很简单，给定一个要估计的参数的初值，计算隐含变量分布，再根据隐含变量的分布更新要估计的参数值，之后在这两个步骤之间进行迭代。但是其中的数学原理，GMM的推导等等其实并不简单，难想更难算。...

统计学习方法---EM

EM算法详解 基本了解 什么是EM算法？ EM的全称是ExpectationMaximization即期望最大化。它是用来求解含有隐变量的概率模型参数的参数估计方法。

【李航统计学习笔记】第九章：EM算法

9.1导论 三硬币模型 假设我们有随机变量z（观测不到的数据）：z\simb1,\pi。针对一系列样本\leftz1,y1\right\leftz2,y2\right\ldots\ldots\left...