机器学习笔记——Cross entropy（交叉熵）
发布时间
阅读量：
阅读量
交叉熵，一般用来求目标值与预测值之间的差距。
1. 信息量
信息量是指多少的量度，一般认为发生概率低事件的信息量较大。
一般用log函数来描述，其中 I 表示信息量
横轴为概率，纵轴为信息量
2. 熵
对于某个事件，有n种可能性，每一种可能性都有一个概率 p(x_0)
而熵就是用来表示所有信息量的期望，即：
有一种比较特殊的问题，结果只有两种可能性（比如抛硬币）
3. 相对熵（KL散度）
用来衡量两个分布的差异
比如有两个单独的概率分布 P(x) 和 Q(x)
在机器学习中，P往往用来表示样本的真实分布，比如[1,0,0]表示当前样本属于第一类。Q用来表示模型所预测的分布，比如[0.8,0.15,0.05] 。直观的理解就是如果用P来描述样本，那么就非常完美。而用Q来描述样本，虽然可以大致描述，但是不是那么的完美，信息量不足。如果我们的Q通过反复训练，也能完美的描述样本，那么Q等价于P。
KL散度的计算公式：
n为事件的所有可能性。
D_{KL}的值越小，表示q分布和p分布越接近。
4. 交叉熵
对相对熵的公式进行变形可以得到
等式的前一部分就是p的熵，等式的后一部分就是交叉熵：
在机器学习中，我们需要评估label和predicts之间的差距，由于KL散度中的前一部分−H(y)−H(y)不变，故在优化过程中，只需要关注交叉熵就可以了。所以一般在机器学习中直接用用交叉熵做loss，评估模型。
全部评论 (0)
还没有任何评论哟~