为什么火把有两种非线性激活？

Question

为什么火把有两种非线性激活？

​

​

非线性激活(加权和，非线性)：https://pytorch.org/docs/stable/nn.html#non-linear-activations-weighted-sum-nonlinearity

非线性激活(其他)：https://pytorch.org/docs/stable/nn.html#non-linear-activations-other

Answer 1

主要区别在于非线性激励下列出的函数(加权和、非线性)只执行阈值，不规范输出。(也就是说，结果张量不一定等于1，无论是在整体上还是沿着某些指定的轴/dim集合)

示例非线性：

nn.ReLU nn.Sigmoid nn.SELU nn.Tanh

而非线性激活下列出的非线性(其他)则执行阈值化和归一化(即，如果不指定轴/dim维数，则结果张量之和可达1；或沿指定的轴/dim列)。

示例非线性：(注意分母中的归一化项)

但是，除了nn.LogSoftmax()外，它的结果张量不等于1，因为我们在softmax输出上应用了日志。