K折叠交叉验证/分区模型

Question

我有41个样本和6个预测因子的数据集。在Matlab中，我使用了树作为分类树。尽管oob误差很高，但该模型对41个标签进行了准确的预测。

但在此基础上，我尝试用k折叠交叉验证模型，验证准确率仅为41%。我对此感到困惑。

我的另一个问题是，当我试图交叉验证一个已经建立的集成模型时，k折叠算法是如何工作的。任何帮助都会很感激的。

Answer 1

您不能对相同的数据进行训练和测试。验证是毫无意义的。

K折叠交叉验证是为了防止这种情况发生。您对子集进行训练，并对其余元素进行测试。用随机子集冲洗和重复，以提高验证精度(而不是分类精度)。

您不能使用k折叠交叉验证测试已经构建的分类器.这没什么意义。