多重共线性是否影响神经网络？

Question

有人能像我五岁一样解释一下为什么多重共线性不影响神经网络吗？

我做了一些研究，神经网络基本上是线性函数，在中间叠加着激活函数，如果原始输入变量高度相关，这不意味着多重共线性的发生吗？

Answer 1

线性或logistic回归中的多重共线性不影响模型性能，只影响模型系数的解释。多重共线性导致一个问题，一个变量的微小变化会导致系数的急剧变化。

神经网络本质上是黑箱模型，如果它的性能达到一定的期望(很好的精度)，我们就永远不知道多重共线性的影响。这就是为什么我认为大多数博客说神经网络不受多重共线性的影响。