我有一个数据科学项目,预测客户的下一个购买日。对客户一年的行为数据进行了9个月和3个月的训练和测试,通过RFM分析,对模型进行了不同分类器的训练,得到了较好的结果:
Accuracy of XGB classifier on training set: 0.93
Accuracy of XGB classifier on test set: 0.68
这是我们学校的项目,我在想,在现实世界的项目中,我们如何在模型投入生产后评估它的性能。我如何衡量我的模型有多成功?如果生产中的性能指标远低于我的测试结果呢?
发布于 2021-01-30 07:17:12
这其实是一个很好的问题。答案很简单,但要视情况而定。一般来说,我们在推动一个模型到生产之后所做的事情,我们应用了一个审核过程。让我解释一下:在现实中,正在被推向生产的机器学习模型被推到替代另一个过程(例如,手动过程--这是自动化的情况)。在开始时,机器学习模型所预测的一切都是通过另一个过程(例如,手动)进行审计的,我们称之为试验阶段。通过对模型性能与手工过程的比较,建立了模型的质量。一旦我们感到高兴,我们就开始将审计百分比从100%降低到5%左右(审计百分比应该是多少)。这一审计将永远不会消失,并将始终用于衡量模型的性能,并为可以添加到培训集中的新样本建立地面真相数据。
事实上,理论上的培训模式是有意义的,而在生产中使用它们则是另一回事。这确实是一个复杂的过程。我只想提一提:我们也想实施一些保护机制来保护模式。如数据漂移检测、不确定度检测等。
发布于 2021-01-30 05:55:41
在您训练您的模型之后,如果您想对新数据执行预测,这样的操作可以帮助model.predict(new_data)。如果您的模型在训练数据上表现良好,在测试数据上表现很差,那么主要原因是过度拟合(tThe模型过于精确)。希望能帮上忙。
https://datascience.stackexchange.com/questions/88688
复制相似问题