为什么Weka的实验者没有显示所有10倍的结果？

Question

我使用Weka对一组数据运行决策树分类器。我正在使用10倍交叉验证，我想知道每一个十倍的个别准确性。在资源管理器的分类下，我可以得到关于测试数据的每一个预测的大列表。这意味着我必须手动把所有的+加起来。

这将需要很长的时间，特别是如果有大量的数据。同样，也很容易出错。

在实验器下，我可以在相同的数据上设置一个10倍的交叉验证分类器(重复1次)。我可以将“行”设置为“折叠”，然后，当我转到“列”并将其设置为“number_incorrect”时，它只显示了10个折叠中的6个。

那么，我如何得到所有10倍的正确数字，为什么要这样做呢？

Answer 1

在“分析”选项卡中，您应该选择：

1)行：折叠

2)列:您必须选择Run、折叠和您想要的结果。

如果您省略了第二节中的选项之一，您将只看到部分信息。

Answer 2

根据我的理解，Weka这样做的方式是，在K折叠交叉验证(CV)中，单个折叠的单个准确性没有那么重要。K折叠简历的整个想法就是简单地将数据分成K个子集，然后依次省略每一个折叠以进行验证。然后，将验证误差计算为跨K倍的平均，这是我们学习算法误差的无偏估计。

有关更多详细信息，请参阅下面的链接：https://alliance.seas.upenn.edu/~cis520/wiki/index.php?n=Lectures.Overfitting