神经网络 -- Softmax以及Cross entropy（交叉熵）
发布时间
阅读量：
阅读量
softmax和cross entropy都是神经网络中重要的函数。而且都有着广泛的应用。
softmax之所以称为“soft”是由于它不像one-hot中的值，只有0或者1。
softmax会将输入的值依据大小，映射成(0,1)之间的概率分布。所以这些值相加的和为1。
因此，hot-one不可导，softmax是可求导的。
softmax的计算公式为
其中，表示数组V中的第i个元素的值。
cross entropy交叉熵与softmax有着密切的关系，将上面的softmax的公式稍加修改就能得到交叉熵的计算公式。
其中，log的底数可变，且在变化的同时，熵的单位也会随之变化。
由于的值在(0,1)，因此当
越大时，
的值越接近0，即损失值越小。
最后，softmax和cross entropy之间还有一个重要的关系式
即损失值对元素求偏导的值等于对应元素概率减1，这为机器学习中实现梯度下降减少了很多的计算量。
全部评论 (0)
还没有任何评论哟~