不能理解激活函数

Question

我一直试图从零开始学习神经网络(在Python中)。无论他们谈论什么神经网络，我都不知道神经元的激活意义，我需要理解激活的基本含义。它像激活的-非激活的布尔值吗？

偏见的定义说它有助于补偿神经元的激活。那么我们是否需要一个激活函数呢？

Answer 1

激活函数是神经网络中各层输入输出之间的非线性函数.如果你没有这样的函数，多层神经网络在数学上是不可能学习到一层神经网络已经不可能的函数的(非正式的，因为把线性系统链接在一起仍然会给你留下一个不再强大、计算成本更高的线性系统)。

激活函数的重要之处在于

• 必须是非线性的(见上文)
• 必须是可微性的(这样，使NN系统有价值的训练算法才能真正发挥作用)

(我怀疑它也必须是单调的，但我现在找不到参考资料。)

一般来说，一个非线性函数的存在要比使用什么函数重要得多。