Tensorflow中的交叉熵（Cross Entropy）
发布时间
阅读量：
阅读量
TensorFlow框架下的交叉熵损失函数
Cross Entropy损失函数（基于Sigmoid激活函数）
常用于解决两类分类问题。其中输入的logits和标签应为一维数组。特别提醒：请确保输入至该函数的是原始预测值而非经过sigmoid转换后的结果。
交叉熵（Softmax）
适用于多分类场景。函数$sparse\_softmax\_cross\_entropy\_with\_logits接收至少二维的logits和labels参数，在这种情况下labels不是One-Hot编码而是类别索引（例如[0,0,1,0]），该索引表示第2个类别（从零开始计数）。请注意不要将已经通过softmax计算得到的结果传递给这些函数。（因为这会导致错误的结果）
# 4 samples
import numpy as np
preds = [[10., -10.], [10., -10.], [10., -10.], [10.,-10.]]
labels = [[1., 0.], [1., -1.], [0., 1.], [-1., 1.]]
print("数据集的维度：",np.shape(preds))
print("类别的维度：",np.shape(labels))
# softmax_cross_entropy_with_logits_v2输入的数据集和类别至少是二维的
loss = tf.nn.softmax_cross_entropy_with_logits_v2(labels=labels,logits=preds)
loss1 =tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits_v2(labels=labels,logits=preds))
label=np.argmax(labels,axis=1)
print("label标签",label)
# tf.nn.sparse_softmax_cross_entropy_with_logits#收的logits至少是二维的，
# 但labels不是One-Hot的，而是类别的下标
loss2=tf.nn.sparse_softmax_cross_entropy_with_logits(labels=label,logits=preds)
loss3=tf.reduce_mean(tf.nn.sparse_softmax_cross_entropy_with_logits(labels=label,logits=preds))
with tf.Session() as sess:
init=tf.global_variables_initializer()
sess.run(init)
print("softmax_cross_entropy_with_logits_v2,每个样本的交叉熵:",sess.run(loss))
print("softmax_cross_entropy_with_logits_v2,所有样本交叉熵求均值：:",sess.run(loss1))
print("sparse_softmax_cross_entropy_with_logits,每个样本的交叉熵",sess.run(loss2))
print("sparse_softmax_cross_entropy_with_logits,所有样本交叉熵求均值",sess.run(loss3))
参考博客：<>
全部评论 (0)
还没有任何评论哟~