VC维数与自由度的关系

Question

我正在学习机器学习，我觉得VC维的概念和更经典的(统计)自由度概念之间有很强的关系。

有人能解释一下这种联系吗？

Answer 1

正如Yaser Abu-Mostafa教授所指出的-

自由度是对有效参数数的抽象。有效数字是基于一个人可以得到多少二分法，而不是使用多少实值参数。在二维感知器的情况下，我们可以考虑斜率和截取(再加上一个区域到达+1的二元自由度)，或者可以考虑3个参数w_0、w_1、w_2 (尽管权重可以同时向上或向下缩放，而不会影响最终的假设)。然而，自由度是3，因为我们可以灵活地打破3分，而不是因为计算参数数目的方式。

Answer 2

在第2.1节中，VC维数在本论文中得到了很好的解释，并给出了基本引理和证明。你可以经历这一切。