在随机森林回归中进行剪枝的正确方法是什么？

Question

我的问题的上下文：

我正在使用GridSearchCV在mt随机森林回归器中执行超参数调优。为了减轻过度适应，我发现也许我应该使用修剪技术。我签入了文档，并找到了引用剪枝的ccp_alpha参数；我还找到了这个示例，它告诉我们如何在决策树中剪枝。

我的问题：

既然我在寻找随机森林(GRidSeachCV)的最佳参数，我应该如何输入ccp_alpha值？我应该包括在GridSearchCV之前还是之后？考虑到每次我执行GridSearchCV时模型的结构都会发生变化.你们有什么推荐信吗？文章？

我的观点：

对我来说，更有意义的是先进行超参数调优，然后在训练和测试这个“最佳模型”之前添加ccp_alpha (修剪)，但我不确定.

Answer 1

因为ccp_alpha也是一个可调的参数，所以它应该是你简历的一部分。您的其他参数也依赖于此。

它是一个正则化参数(如Lasso/Ridge回归中的lambda )，因此一个很高的值会给你很小的树。