为什么DL模型的性能会随着数据量的增加而增加，而ML模型的性能会随着数据量的增加而下降呢？

Question

我读过一些文章，并意识到其中许多文章引用了，例如，对于大量的数据，DLis比ML更好。

典型情况是：

机器学习算法的性能随着数据量的增加而降低。

来源

另一位说ML模型的性能将停滞不前，

来源

据我所知，数据越多越好。它帮助我们在没有过度拟合的情况下实现复杂的模型，并且算法能够更好地学习数据，从而推断出正确的输出模式。这应该同时适用于DL和ML。

所以，我感到很困惑，从引用的消息来源，有希望的人可以帮助我更详细地阐述这件事，

Answer 1

第一源没有为他们的声明提供一个源(因为你得到了更多的数据，性能就会下降)，所以我会忽略它。经验法则是，越多的训练数据越难以适应，我认为这适用于所有的ML算法。即收益递减，但不应该变得更糟。

第二源，图像，是我们倾向于观察的东西，至少在图像和文本处理领域是这样。我认为一种解释是，深度学习算法能够更好地利用现代GPU，因此可以将它们的容量扩展到能够从庞大的数据集中学习的程度。

Answer 2

1. “机器学习算法的性能随着数据数量的增加而下降”的说法肯定是错误的，至少在一般情况下是这样。
2. 与任何ML模型一样，DL模型在达到模型容量后的性能也是稳定的。如果你想一想，任何DL模型都有一个有限的参数集(不管有多少)，所以它的表现力和性能必须有一个限制。现代DL模型通常比经典ML模型具有更多的参数，这是其性能优越的根本原因，但也不是无限制的。吴荣奎在他的DL课程中画出了完整的图表。

此外，请记住DL是ML的一个子集(不是替代的)，所以一定要知道“比较”它们意味着什么。

建议:停止从这些来源摄取任何东西，因为它们对你的健康有害。

Answer 3

我认为大多数机器学习方法在添加更多数据时做得更糟的观点是，您开始从不同的来源获取数据。例如，我的一位导师曾经告诉我，他建立了一个很棒的语音识别系统，结果却发现它非常适合那个特定的麦克风品牌。也就是说，通过获取更多的数据，必须发现模式的其他方面，而他的方法不能胜任这项任务。

尽管如此，最初的说法听起来确实像是在挑衅性，即使在某种意义上，这一说法可能是正确的。