周期激活函数

Question

为什么像sin(x)，cos(x)这样的周期函数在神经网络中不被用作激活函数？

relu = max(0, f(x)) is used

但

f(x) = sin(x) is not used

Answer 1

在我看来，问题是这些函数为许多输入提供相同的输出，如果神经元得到输入0,1输出将与

0,1 +2 2kpi

所以你的神经元在不同的输入值下的反应是完全一样的。朴素的雷鲁剪辑负面的价值观，就这样。乙状结肠或双曲切线夹紧大小值，但sin或余弦给出0,1；0,1 +2pi，0,1 +4 4pi，0,5；0,5 +2pi，0,5 +4 4pi的值。

如果神经元饱和，或大或低值时有一定的恒定响应，这是有意义的，但认为神经元对pi/2和999 + pi/2的反应同样对我不利，因为下一层的神经元也会把这些结果视为相同，但来源完全不同(pi/2 vs 999 + pi/2)。