统计学习理论在实际分析中的应用

Question

我开始写这篇文章是想说我不知道这个帖子是否符合社区规则，所以请原谅我的任何滥用。

我在大学时学过统计学学习理论。特别是最近的PAC学习、VC维数、一致收敛等。我和Vapnik一起观看了这次谈话，他声称深度学习本质上是一种“bla bla解释”，并声称“每一个问题都可以用统计学习理论解决。”

我对此感到很困惑。我不知道如何将统计学习理论应用于实际问题。

让我们假设我面对的是一个新的数据集，它具有清晰的二进制分类任务，具有许多特性和大量的培训数据。例如，如果假设类H是PAC可学习的，或者换句话说，如果它有有限的VC维，我该如何检查呢？不要太直截了当地举我的例子，我只想知道是否有人能向我指出一篇文章、博客或某种答案，清楚地表明我们如何在实际分析中使用这些定理和结果。

谢谢。

Answer 1

1. 基本微积分的发展，这对于计算问题和求函数的最小值的数值技巧都是必要的。
2. 学习理论的发展，如VC理论，就像它在统计学中被用来证明中心极限定理一样。

Answer 2

我没有看过你上传的youtube视频，但如果你读到“理解深度学习需要反思概括”(Zhang，Bengio等人，2016)，你会看到一个非常清楚的分析，为什么这个Vapnik的说法夸大了。在统计学习中，复杂性-泛化权衡导致了一个伪悖论:具有比输入数据更多参数的模型不应该能够泛化。事实上，他们完全无视理论。总之，VC会给您DNN的空界。

最近，Dziugaite和Roy“为深度(随机)神经网络计算非空泛化界”给出了深度学习的非空界，但它们依赖于SGD发现的解的特性。

我推荐这个视频(https://www.youtube.com/watch?v=dHUH0hmKvs8)与Karoline解释他们的努力，她解释得很好。