BatchNorm momentum约定PyTorch

Question

batchnorm momentum convention (default=0.1)是否像其他库一样正确，比如Tensorflow，默认情况下它通常是0.9或0.99？或者我们只是在使用一种不同的约定？

Answer 1

似乎pytorch和tensorflow中的参数化约定不同，因此pytorch中的0.1等同于tensorflow中的0.9。

更准确地说：

在Tensorflow中：

running_mean = decay*running_mean + (1-decay)*new_value

在PyTorch中：

running_mean = (1-decay)*running_mean + decay*new_value

这意味着PyTorch中的decay值等同于Tensorflow中的(1-decay)值。