对于迭代次数和功能数量，增强抗过拟合能力吗？

Question

当我们使用许多迭代时，增强方法(如流行的xgboost)不会过度适用-- 夏蒂尔和弗劳因德。当我们给它们大量的功能时，它们是否也能抵抗过度安装(其中一些功能不是很有用？)如果是这样的话，这两个理想的属性之间是否有理论联系？

(与https://stats.stackexchange.com/questions/35276/svm-overfitting-curse-of-dimensionality有关)

Answer 1

我不能从理论的角度发言，但我可以说，在实践中，过度适应大量的特征并不是梯度提升的问题。我在一家大型金融机构工作，该机构几十年来一直在做信用风险建模，在过去的十多年里，他们几乎一直在使用梯度提升来进行变量选择。梯度增强(以及任何基于树的方法)可以用来找出相对特征的重要性(根据每次分割后减少多少误差)。

我工作的统计学家通常会使用梯度提升来缩小2,000个左右的特征，使其成为一个更易于管理的10-15，通过获取最高级的特征。然后将这些特征输入一个logistic回归模型，该模型比梯度增强模型更易于解释。即使在延迟分割上，建立在2,000个特征上的梯度增强算法也普遍优于logistic回归模型。因此，梯度增强模型被用于变量选择和预测性能基准。