线性与非线性神经网络？

Question

我对机器学习和神经网络很陌生。我知道如何建立一个非线性分类模型，但我目前的问题有一个连续的输出。我一直在寻找关于神经网络回归的信息，但我所遇到的只是关于线性回归的信息--没有关于非线性情况的信息。这很奇怪，因为为什么会有人用神经网络来解决简单的线性回归呢？这不就像用核弹杀死苍蝇吗？

所以我的问题是:是什么使神经网络非线性？(隐藏层？非线性激活函数？)或者我对“线性”这个词有一个完全错误的理解--线性回归神经网络能够准确地建模出比y=aX+b更复杂的数据集吗？“线性”一词是否与“逻辑”相反？

(我计划使用TensorFlow，但TensorFlow线性模型教程以二进制分类问题为例，因此这对我也没有帮助。)

Answer 1

首先，神经网络可以建模任何函数(不仅仅是线性函数)-- http://neuralnetworksanddeeplearning.com/chap4.html。

神经网络具有非线性激活层，从而使神经网络具有非线性单元。

输入输出函数的确定取决于神经网络及其得到的训练量。如果您提供两个变量具有线性关系，那么您的网络将学习这一点，只要您不过分适合。同样，一个足够复杂的神经网络可以学习任何函数。

Answer 2

当涉及到非线性回归时，这是指权重对输出的影响。如果一个函数对权重不是线性的，那么你的问题就是一个非线性回归问题。例如，让我们看一个前馈神经网络，它有一个隐藏层，其中隐藏层中的激活函数是某种函数

输出层具有线性激活函数。有鉴于此，数学表示可以是：

​

​

我们假设

可以在标量和向量上使用这种表示法来简化操作。

，

，

，以及

是你打算用回归估计的权重。如果这是线性回归，

将等于z，因为这将使y线性依赖于

&

。但是如果

是非线性的，比如说

，那么y现在是非线性地依赖于权重。

。

如果你理解了所有这些，我很惊讶你还没有看到关于非线性案例的讨论，因为几乎所有的人都在教科书和研究中谈论这个问题。利用随机梯度下降法、非线性共轭梯度法、RProp法等方法，可以帮助求解这些非线性回归问题的局部极小(希望是好的局部极小)，即使全局最优不是典型的保证。

Answer 3

从输入到输出的任何非线性都会使网络非线性.在我们通常思考和实现神经网络的方法中，这些非线性来自于激活函数。

如果我们试图拟合非线性数据，并且只有线性激活函数，那么我们对非线性数据的最佳逼近将是线性的，因为这是我们所能计算的全部。您可以看到一个神经网络试图将非线性数据与线性激活函数 这里相匹配的例子。

然而，如果我们将线性激活函数改为非线性(如ReLu )，则可以看到数据的更好的非线性拟合。你可以看到那个这里。