神经网络(非线性)

Question

在讨论神经网络时，我对使用线性/非线性这个术语有些困惑。有谁能为我澄清这3点：

1. 神经网络中的每个节点都是输入的加权和。这是输入的线性组合。因此，每个节点的值(忽略激活)是由一些线性函数给出的。我听说神经网络是通用函数逼近器。这是否意味着，尽管在每个节点中包含线性函数，总网络也能够近似于一个非线性函数？在实践中，是否有明确的例子说明这是如何运作的？
2. 激活函数应用于该节点的输出，以压缩/转换输出，以便通过网络的其余部分进一步传播。我是否正确地将激活函数的输出解释为该节点的“强度”？
3. 激活函数也称为非线性函数。非线性这一术语从何而来？因为输入到激活是输入到节点的线性组合的结果。我想这是指像sigmoid函数这样的函数是非线性函数的想法？为什么激活是非线性的？

Answer 1

1线性

只有当你用非线性激活函数压缩节点的输出信号时，神经网络才是非线性的。一个完整的神经网络(具有非线性激活函数)是一个任意函数逼近器.

奖励:应该注意的是，如果在多个连续层中使用线性激活函数，那么您也可以将它们修剪成单个层，因为它们是线性的。(权重将改为更多的极值)。使用线性激活函数创建具有多个层的网络将无法建模比具有单一层的网络更复杂的功能。

2激活信号

解释压缩输出信号可以很好地解释为这个信号的强度(从生物学上讲)。认为在模糊逻辑中，将输出强度解释为一种等价的信心可能是不正确的。

3非线性激活函数

是的，你很在行。输入信号及其各自的权重是线性组合。非线性来自你对激活函数的选择。记住，线性函数是作为一条直线绘制的--乙状结肠、tanh、ReLU等不能用一条直线绘制。

为什么我们需要非线性激活函数？

大多数函数和分类任务可能最好用非线性函数来描述.如果我们决定使用线性激活函数，我们最终将得到一个复杂函数的粗得多的近似。

通用逼近器

有时你可以在报纸上看到，神经网络是一种通用的逼近器。这意味着可以将“完美”网络安装到您可以抛出的任何模型/功能中，尽管配置完美的网络(节点和层++)是一项非常重要的任务。

在这个维基百科页面上阅读更多关于其含义的文章。