最大似然估计，交叉熵，相对熵(KL散度)
发布时间
阅读量：
阅读量
在机器学习中，选择损失函数时，通常会遇到交叉熵的概念，也就是交叉熵损失函数，那么我们知道最小化交叉熵损失函数等价于最大化对数似然，那么最小化交叉熵损失函数其含义是怎么样本的？我们知道针对分类问题，我们并不知道Y的真实分布，因此需要通过模型来估计Y的真实分布，以逻辑回归为例，假设Y的真实分布为：P(Y=1)=p;P(Y=0)=1-p,而我们用来估计的P’(Y=1)=q,P’(Y=0)=1-q;通常q=\frac{1}{1+exp(-x\beta)}, 我们需要做的就是估计参数\beta,使得P和P’之间的差异尽可能小，描述两个分布差异大小的量我们可以使用相对熵 即 E_P(-logP')-E_P(-logP)，那么这个E_P(-logP')便是交叉熵，最小化相对熵等价于最小化交叉熵，因为E_P(-logP)是常数（尽管不知道）,而,可以做样本估计-\sum_i P(Y_i=1)\log q+P(Y_i=0)\log(1-q)=\sum_i\log Yq+(1-Y)\log(1-q)
全部评论 (0)
还没有任何评论哟~