"chainer.functions.sigmoid_cross_entropy“是一个二阶可微函数吗？

Question

我是一个学习机器学习的学生。在我的研究中，我们需要用二阶来区分损失函数，我们使用"chainer.functions.sigmoid_cross_entropy“。一个类似的函数是"chainer.functions.softmax_cross_entropy“。此函数有一个参数"，enable_double_backprop“来实现二阶导数，但不在"chainer.functions.sigmoid_cross_entropy”中。

"chainer.functions.sigmoid_cross_entropy“是一个二阶可微函数吗？

请教我！

chainer.functions.sigmoid_cross_entropy (x, t, normalize = True, reduce = 'mean')

chainer.functions.softmax_cross_entropy (x, t, normalize = True, cache_score = True, 
class_weight = None, ignore_label = -1, reduce = 'mean', enable_double_backprop = False, 
soft_target_loss = 'cross-entropy')

Answer 1

是的，sigmoid_cross_entropy是二阶可微的。由于性能原因，除非给定enable_double_backprop=True，否则softmax_cross_entropy不是二阶可微的。

https://github.com/chainer/chainer/issues/4449中列出了不支持高阶导数的函数。