当我练习经典的kaggle比赛时,比如泰坦尼克号,房屋定价等等,我遵循了我从教科书上学到的传统过程:
我无法理解的是,为什么模型在验证集上表现得很好,而在公共测试集上却可能不是很好呢?有时甚至公共测试集的分数也可能与私有测试集不同。
如果验证集无法避免在实际预测中过度或不适当,那么它似乎是无用的?
更重要的是,即使模型在私有测试集中表现良好,我们如何才能判断它是否好呢?也许它在“私人-私有测试集”中的表现会很糟糕。
这真是令人沮丧和困惑的me...maybe我对性能评估方法有一个错误的概念,还是有更合理的方法来评估一个模型?
发布于 2021-11-10 06:42:48
我无法理解的是,为什么模型在验证集上表现得很好,而在公共测试集上却可能不是很好呢?有时甚至公共测试集的分数也可能与私有测试集不同。
验证集用于调优您的超参数,这样您就可以在从未见过的数据(测试集)上分析模型的性能。因此,比较验证集和测试集(私有/公共)的性能是不公平的。此外,对于Kaggle数据集,通常公共测试集较小(可能与私有测试集略有不同),否则您可以在公共测试集上培训一个好的模型,除了在私有测试集上获得良好的结果外。
如果验证集在实际预测中无法避免过拟合或过拟合,那么它似乎毫无用处吗?
同样,验证集用于超参数调优。如果您的模型不能很好地执行(无论您如何定义它),请使用更好的模型或对您的数据进行研究。但是不要使用从测试集中获得的任何信息来调优模型!
更重要的是,即使模型在私有测试集中表现良好,我们如何才能判断它是否好呢?也许之后它会在“私人测试集”上表现不好。
公益性考试集主要用于比赛,其主要目的是防止作弊。但要知道,你得到的资源有限,这里有数据。尽你最大的努力吧。如果您确信您所培训的模型,并且它在最终数据集上的表现仍然很差,那么提供给您的数据可能不够有代表性。
https://datascience.stackexchange.com/questions/103996
复制相似问题