C4.5决策树算法不能提高准确率

Question

我使用10折交叉验证在Weka中运行了C4.5剪枝算法。我注意到，未修剪的树比修剪的树具有更高的测试精度。我不明白为什么修剪树不能提高测试的准确性？

Answer 1

剪枝减少了决策树的大小，这(通常)降低了训练精度，但提高了测试(看不见)数据的准确性。修剪有助于缓解过度拟合，在这种情况下，您可以在训练数据上实现完美的准确性，但只要看到未见的数据，模型(即决策树)就会失败。

因此，剪枝应该可以提高测试的准确性。从你的问题中，很难说为什么修剪不能提高测试的准确性。

但是，您可以检查您的训练准确性。只需检查剪枝是否降低了训练精度。如果不是，那么问题出在其他地方。那么你可能需要考虑特征的数量或者数据集的大小！