softmax和log-softmax有什么区别？

Question

这两个函数之间的区别已经在本文中描述：软糖和软糖？ is：exp(x_i) / exp(x).sum()和log是：log(exp(x_i) / exp(x).sum())。

但是对于下面的Pytorch代码，为什么我得到了不同的输出：

>>> it = autograd.Variable(torch.FloatTensor([0.6229,0.3771]))
>>> op = autograd.Variable(torch.LongTensor([0]))
>>> m  = nn.Softmax()
>>> log = nn.LogSoftmax()
>>> m(it)
Variable containing:
`0.5611  0.4389`
[torch.FloatTensor of size 1x2]
>>>log(it)
Variable containing:
-0.5778 -0.8236
[torch.FloatTensor of size 1x2]

但是，值log(0.5611)为-0.25095973129，log(0.4389)为-0.35763441915。

为何会有这样的差异呢？

Answer 1

默认情况下，torch.log提供输入的自然对数，因此PyTorch的输出是正确的：

ln([0.5611,0.4389])=[-0.5778,-0.8236]

最后的结果是使用基数为10的对数得到的。

Answer 2

不仅在默认情况下，torch.log始终是自然日志。而torch.log10是10基日志。