神经网络回归的基展开？

Question

我试图用神经网络逼近一个非线性函数。有3-4个输入单位。网络正在努力推广训练数据集附近的功能。我问了一个人，他说扩大基础可能会有帮助。能否有人提供相同的参考资料，我找不到任何。此外，他还建议“使用核方法进行基础扩展”。

Answer 1

我猜扩展的基础是以某种方式使用linear algebra透视图来看待这个问题。在线性代数中，对于3D空间，用一个平凡的例子来解释它，有三个基，即i，j和k。这意味着要引用3D空间中的任何向量，只需要这三个向量的线性组合就可以构造任何想要的向量。每个空间的每个基都具有一些性质，如正交性、不正交性、线性无关性等重要性质。通过添加额外的特性，如果它们是线性独立的，则会增加它们的数量。

在机器学习中，有一种情况是，将每一个特征直接与输出进行比较，可能不会形成一个好的决策边界，而利用一些特征相互配合，可以形成决策边界，从而形成一个更好的决策边界。所有这一切都意味着，如果您将输入空间更改为具有更多使用当前特征空间提取的特征的空间，则可以找到一个可以更好地分离数据的空间。使用特征提取方法可以找到具有属性的特征空间。内核方法就是其中之一。

核技巧是一种数学方法，它减少了将当前特征空间中的数据转换为适当特征空间的困难。假设您有一百万行原始数据，并且特性空间属于R^{3}。假设您发现可以具有良好泛化的特征空间属于属于R^{95}的空间。如果可能的话，尝试将手头的数据转换到所需的特征空间是一项耗时的任务。内核技巧不是直接转换数据，而是尝试在不将数据转换到新空间的情况下计算转换后的数据的结果。