什么是“参数收敛”？

Question

我试图教自己数据科学，我特别感兴趣的是决策树。在这几步中，我遇到了一个术语，“参数收敛”，我找不到定义(因为，毕竟，我是自己学习，无法接触到老师或同事)：

然而，即使在预测变量数量较少的研究中，兴趣的所有主要效应和交互效应--特别是在范畴预测变量的情况下--很可能导致细胞数太少而无法收敛。(来自Strobl等人，2009年年)

网络搜索并不是很有帮助，因为收敛是一个非常常见的术语，我不确定哪一个结果特别适用于决策树的上下文。而且，结果也没有提供入门级的定义。

因此，虽然参数收敛的定义或解释(在递归分区的上下文中)是很好的，但也可以很方便地指向一个资源(学术或其他方面)，它可能有一个‘术语表’的这个和类似的术语.

Answer 1

参数收敛的一个朴素定义是当参数的权值或值渐近地到达一个点时。我的意思是，当您的模型培训不改变参数值(可能小于epsilon-小值)，这可能是一个很好的适合。对于决策树，我发现了这个纸，它解释了收敛速度等等。如果你想得到更多的细节，这可能是一个很好的阅读。

Answer 2

许多ML和最小化任务都使用目标函数。在每次迭代时，定义要尝试的参数集，目标函数返回一些评分值，反映该参数集的好坏。然后修改参数集，并重复该过程。

那么，你什么时候停止这个过程？当fit的变化(越来越接近局部或全局的最小值)变得可接受时，您想要停止。什么是可以接受的？这取决于你，但部分受梯度的形式或错误空间的影响。这里有指导方针，许多算法在默认情况下构建这些规则。

作为一个集合，这些停止规则包含收敛准则。当算法收敛时，它已经找到了满足您需求的参数集。它有很多失败的方法，特别是如果在某些最大迭代次数中找不到合适的参数集的话。相反，您可以设置不合理的停止标准，从而导致参数非常差的收敛。