Tensorflow sampled_softmax_loss示例

Question

有人能在Tensorflow的损失上给我一个简单的示例吗？

我试图用不同数字的cross_entropy来更改教程的软最大值和sampled_softmax_loss，但是结果确实很糟糕。

Answer 1

当有大量输出类时，使用softmax。主要原因是，如果你使用正常的软最大损失，对于高数量的输出类，比如说5000，它是非常低效的，对我们的计算机来说，计算起来很困难。因此，当计算softmax损失时，样本softmax将只考虑k个类的数量，而不是总类数。

使用的一个例子是序列在tensorflow.中的序列模型。

这些模块可以以顺序的方式预测发生的事情。比如说，给定一个句子，预测下一个单词。因此，在这里，为了预测单词，您有许多输出类。在本例中，等于词汇表大小。因此，在这方面，样本softmax是非常方便的。链接到tensorflow seq2seq模型