我有一个问题,如何评估模型的性能类似于恶意软件检测在现实世界中。例如,我创建了一个恶意软件检测模型来预测引擎是否会停机。而且这个模型似乎做得不错,所以我把它推向了生产。然而,在现实世界中,当模型预测引擎会熄火时,我会派人去修理它。棘手的部分是,我正在做的预防措施,派人去修理发动机之前,它已经关闭。有什么好的方法来评估模型的性能吗?谢谢!
发布于 2020-04-16 12:40:11
您是否可以测量一个可以测量的代理度量,即使系统从未崩溃?例如,工程师是否发现了“恶意软件”或任何类似的情况?
如果没有,如果这样做是安全的,为什么不对X%的案例采取行动,并将在这些案例中收集的数据作为评估数据?
https://datascience.stackexchange.com/questions/72425
复制相似问题