tensorflow softmax_cross_entropy码

Question

由于tf.nn.softmax_cross_entropy_with_logits在gen_nn_ops中的源代码是隐藏的，有人能解释一下tensorflow是如何在Softmax之后计算交叉熵的吗？我的意思是，在softmax之后，由于精度的原因，它可能会输出0，从而产生一个具有交叉熵的NaN问题。当softmax绑定其输出时，tensorflow是否使用剪辑方法？

Answer 1

tf.nn.softmax_cross_entropy_with_logits的实现进一步到本地C++代码，这里是XLA实现。当其中一个逻辑比其他逻辑大得多时，Logits是不绑定的，并且0是可能的。示例：

>>> session.run(tf.nn.softmax([10.0, 50.0, 100.0, 200.0]))
array([ 0.,  0.,  0.,  1.], dtype=float32)

如果您愿意，您可以在softmax之前剪切日志，但不建议这样做，因为当输出很大时，它会终止渐变。一个更好的选择是使用批归一化使激活更像正态分布。