论文“深度学习需要重新思考概括”

Question

我读了这篇文章，理解深度学习需要重新思考概括，我搞不懂为什么它在第5页，在第2.2节的含义，雷德马赫的复杂性是微不足道的？

由于我们的随机测试表明，许多神经网络完全适合带有随机标记的训练集，因此我们期望相应的模型类H的Rad(H)=1，这当然是Rademacher复杂性上的一个微不足道的上限，在现实环境中不会导致有用的泛化界。

显然，我缺少一些关于雷德马赫的知识，因为我无法理解他们是如何得出这个结论的。如果有人能向我解释这件事，我将非常感激。

Answer 1

在本文中，函数h有界于1，因此Rademacher复杂度被1(和n项等于1，除以n)极小地有界。