在预测分析中，训练和评估集是否相同？

Question

我正在建立一个模型来预测顾客在一家从A到Z销售产品的百货公司购买A产品的概率。这家商店拥有自己的信用卡，拥有14万名客户的人口统计和交易信息。

目前有一部分顾客(比如1万人)正在购买A。目标是向这些客户学习10,000名顾客，用他们购买A的概率来打分剩下的130,000人，然后用营销活动来锁定得分最高的客户，以增加A的销售额。

我应该如何定义我的培训和评估集？

培训集：

究竟是1万人买了A，还是整个140 K的顾客呢？

评估集：(该模型将用于生产)

我相信这应该是130 K没有买A的人。

关于时间的问题：

另一种选择是去年拍摄数据库的照片，将其用作培训集，然后像现在这样使用数据库，并使用去年的信息创建的模型来评估所有客户的数据。这是正确的吗？我什么时候该这么做？

哪一个选项对所有的集合都是正确的？

Answer 1

培训集和评估集必须不同。有一个评估集的全部目的是防止过度拟合。

在这种情况下，你应该做的是抽取100,000名客户，随机挑选。然后使用这些数据来尝试了解使他们有可能购买A的客户是什么，然后使用剩下的40,000来测试您的模型的工作效果。