什么时候神经网络更好的“传统”模型，如决策树和套索？

Question

研究线性模型(高斯、指数、卡方、F-分布等)的一致性、效率、鲁棒性、蓝色、无偏性等问题，是一种基于微积分的统计推理理论.构成回归模型。

什么时候神经网络比这些传统的基于回归分析的微积分模型更好？有没有一个完整的数学理论，包括健壮性，robustness的东西，一致性，对他们的充分奉献，像Wackerly/HOFF这样的人在一本书中所写的？

神经网络不能用微积分解释，因为logistic回归可以解释为最大似然估计量吗？

什么是神经网络背后的数学，还是更多的CompSci理论？

神经网络无偏估计器，是一致的，有效的，等等，平均是正确的答案吗？他们能估计出人口的真实参数吗？

Answer 1

神经网络只是一种估计数值函数的方法。它们的强大之处在于它是由具有非线性函数的简单矩阵乘法产生的，可以有效地并行化。因此，它们被微积分完美地描述了。

关于他们是否有偏见的问题与他们如何接受训练和他们的黑匣子行为有关。你也可以把数据放在神经网络的末尾。

IMHO的问题是，它们的泛化是一个复杂的话题。提供了新的数据，与我们理解边缘行为的更传统的技术相比，它们可能有意想不到的行为。

如果你考虑简单的回归，像最小二乘，那么神经网络实际上并不起作用。我们使用框架来建立方程，但我们不建立神经网络。因此，我们只是从这些处理大量数据的能力中获益。

如果我们想估计系数，我们仍然要估计y=ax+b。对于logistic回归，它仍然是相同的边界，就像我们在没有神经网络的情况下进行逻辑回归一样。

只有当函数未知且需要估计时，神经网络才能发挥作用。