交叉熵误差（cross entropy error)
发布时间
阅读量：
阅读量
熵真是一个神奇的东西，据说之所以把它命名为熵就是因为它难以理解
但是它确实是一个非常有用的工具，在机器学习领域中频繁可见它的身影。然而在实际应用中我们发现决策树方法通常会采用这种技术作为基础，并且在神经网络模型以及逻辑回归方法中也依赖于这一技术
先说熵的定义：
熵定义为信息的期望，某个待分类事物可以划分为多个类别，其中类别
的信息为(
为
的概率)：
熵为所有类别的信息期望值：
交叉熵误差：
为实际的分类结果，
为预测的结果，（
并且
）
这个函数用作神经网络和logistic回归的损失函数；它具备三项主要优势。
1. 它可以真实的反应出真实分类结果和预测结果的误差
假设
, 即真实的分类结果是
, 则 交叉熵误差可以简化为：
函数图像如下：
可以看到，
越接近
，即预测结果和真实分类结果越接近，误差越接近
， 即误差越小
2. 交叉熵损失函数与softmax（神经网络中的输出层激活函数）以及sigmoid（分类问题中的激活函数）组成的复合系统表现为凸特性，必然存在全局最优解
凸函数的充要条件是：如果二阶导数存在，二阶到大于
，现在以softmax函数为例证明：
softmax函数定义：
输入为
输出为
交叉熵误差函数：
两个复合函数对
求一阶偏导：
所以：
二阶导数：
由于
上面的结果恒大于0， 二阶导数恒大于0 所以它是凸函数
在运用梯度下降法求解最优解的过程中, 必须运用一阶导数. 通过前面的分析可以看出, 一阶导数为:
很简洁漂亮，可以简化整个求解过程
数学真的很神奇！
reference:
机器学习实战：peter harrington（美）
深度学习入门：基于python的理论与实现 斋藤康毅（日）
全部评论 (0)
还没有任何评论哟~