首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >为什么不同的验证集、公共测试集和私有测试集的性能不同?

问为什么不同的验证集、公共测试集和私有测试集的性能不同?
EN

Data Science用户
提问于 2021-11-10 06:07:07
回答 1查看 45关注 0票数 0

当我练习经典的kaggle比赛时,比如泰坦尼克号,房屋定价等等,我遵循了我从教科书上学到的传统过程:

  1. 将培训数据分为培训集和验证集(按7:3或CV划分)。
  2. 带训练集的拟合模型
  3. 使用验证集评估模型性能
  4. 将训练集和验证集结合起来,用相同的验证集参数对模型进行再训练。
  5. 预测测试集的结果

我无法理解的是,为什么模型在验证集上表现得很好,而在公共测试集上却可能不是很好呢?有时甚至公共测试集的分数也可能与私有测试集不同。

如果验证集无法避免在实际预测中过度或不适当,那么它似乎是无用的?

更重要的是,即使模型在私有测试集中表现良好,我们如何才能判断它是否好呢?也许它在“私人-私有测试集”中的表现会很糟糕。

这真是令人沮丧和困惑的me...maybe我对性能评估方法有一个错误的概念,还是有更合理的方法来评估一个模型?

EN

回答 1

Data Science用户

回答已采纳

发布于 2021-11-10 06:42:48

我无法理解的是,为什么模型在验证集上表现得很好,而在公共测试集上却可能不是很好呢?有时甚至公共测试集的分数也可能与私有测试集不同。

验证集用于调优您的超参数,这样您就可以在从未见过的数据(测试集)上分析模型的性能。因此,比较验证集和测试集(私有/公共)的性能是不公平的。此外,对于Kaggle数据集,通常公共测试集较小(可能与私有测试集略有不同),否则您可以在公共测试集上培训一个好的模型,除了在私有测试集上获得良好的结果外。

如果验证集在实际预测中无法避免过拟合或过拟合,那么它似乎毫无用处吗?

同样,验证集用于超参数调优。如果您的模型不能很好地执行(无论您如何定义它),请使用更好的模型或对您的数据进行研究。但是不要使用从测试集中获得的任何信息来调优模型!

更重要的是,即使模型在私有测试集中表现良好,我们如何才能判断它是否好呢?也许之后它会在“私人测试集”上表现不好。

公益性考试集主要用于比赛,其主要目的是防止作弊。但要知道,你得到的资源有限,这里有数据。尽你最大的努力吧。如果您确信您所培训的模型,并且它在最终数据集上的表现仍然很差,那么提供给您的数据可能不够有代表性。

票数 0
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/103996

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档