关于决策树的问题

Question

在研究了决策树一段时间后，我注意到有一种小技术叫做boosting。我看到在正常情况下，这将提高决策树的准确性。

所以我只是在想，为什么我们不简单地将这种增强合并到我们建立的每个决策树中呢？由于目前我们将boosting作为一种单独的技术，所以我在思考:使用boosting比只使用单个决策树有什么缺点吗？

谢谢你在这里帮我！

Answer 1

Boosting是一种可以放在任何学习算法之上的技术。当您构建的原始分类器的性能仅略高于随机数时，它是最有效的。如果你的决策树已经很好了，boosting可能不会有太大的不同，但会有性能损失--如果你运行boosting 100次迭代，你将不得不训练和存储100棵决策树。

通常，人们使用决策树桩(只有一个节点的决策树)进行boost，并获得与使用完整决策树进行boosting一样好的结果。

我用boosting做了一些experiments，发现它相当健壮，比单个树分类器更好，但也更慢(我习惯了10次迭代)，不如一些更简单的学习者(公平地说，这是一个非常嘈杂的数据集)。

Answer 2

boosting有几个缺点:1-难以实现2-它们比决策树更需要使用训练集进行广泛的训练3-最糟糕的是所有boosting算法都需要一个阈值，在大多数情况下不容易计算出来，因为它需要大量的试错测试，知道boosting算法的整个性能取决于这个阈值