交叉验证结果不一致

Question

我有一组从受试者那里记录下来的数据集，当他们执行一些特定的认知任务时。数据由16个通道和每个通道的一些样本点组成，我想根据正在执行的认知任务对这些数据进行分类(所有内容都有标签)。

问题是我没有大量的数据(每个会话大约60次试验，每个认知任务30次)，我有2次会话。我正在尝试训练一个线性判别分析(LDA)分类器来对这些数据进行分类。该分类器稍后将被实时使用，以每隔一定数量的样本给出某种形式的输出。

我利用5折交叉验证来测量我的分类器的泛化误差。问题是，当我多次运行这个5折交叉验证时，我得到的结果根本不是恒定的。相反，总体准确率存在显着差异(例如，第一次5折交叉验证可能产生80%的平均准确率，第二次产生65%的准确率，第三次产生平均72%的准确率，等等)。这是正常的吗？如果不是，原因可能是什么？

Answer 1

听起来你可能有一些错误的数据，或者你的分类器过拟合了。您可以执行留一交叉验证，并记录您的结果。它可以帮助找到可能影响结果的数据。