在训练、验证和测试中进行数据拆分，独立于受试者的10倍交叉验证？

Question

我正在做情绪分析。最近在这一领域的论文进行了主题独立的k-折叠交叉验证。但我还没有看到任何使用验证集的论文。他们只提到了训练集和测试集。例如，在10个交叉验证中，整个数据集被分成10个独立于主题的集合(sub1只会出现在一个集合中，而不会出现在另一个集合中)。如果我们只在训练和测试中划分数据集，那么超参数将如何调整。最终的准确率是多少，因为我的val准确率是变化的(1%-4%)，而训练准确率达到99.99%。

Answer 1

交叉验证是创建验证集并针对其进行训练的过程。您可以通过在交叉验证期间监视验证指标来调整超参数。如果你的验证准确率在1-4%之间，而你的训练准确率接近完美，那么你的模型就是过拟合(很多)。有很多方法可以对抗过度拟合，但其中许多都是特定于模型的，所以我需要更多的信息才能进一步提供帮助。