决策树剪枝的效果

Question

我想知道我是否从训练和验证集中构建了一个像ID3这样的决策树A，但A是未修剪的。同时，我在ID3中也有另一棵决策树B，它是从相同的训练和验证集生成的，但B被修剪了。现在我在未来的未标记测试集上测试A和B，剪枝后的树总是表现得更好吗？欢迎任何想法，谢谢。

Answer 1

我认为我们需要更清楚地区分:修剪后的树在验证集上的性能总是更好，但在测试集上不一定如此(事实上，它在training集上的性能也相当或更差)。我假设修剪是在构建树之后完成的(即:后期修剪)。

请记住，使用验证集的全部原因是为了避免过度拟合训练数据集，而这里的关键点是泛化:我们需要一个模型(决策树)，它可以将“训练时”提供的实例泛化为新的看不见的示例。

Answer 2

剪枝被认为是通过防止过度拟合来提高分类的。由于修剪只会在验证集上提高分类率时才会发生，因此在验证期间，修剪后的树将与未修剪的树一样或更好。

Answer 3

不好的修剪可能导致错误的结果。尽管通常需要减小决策树的大小，但在修剪时通常会获得更好的结果。因此，如何修剪是修剪的关键。