使用MLflow监控数据和模型漂移

Question

MLFlow Tracking非常适合监控实验，但我想知道在MLFlow或其他开源平台上是否有可以集成的解决方案来监控数据和模型漂移。

来自Databricks的post展示了如何使用Delta Lake实现这一点，然而，由于您可以使用MLFlow部署和服务模型，因此在我看来，监控模型做出的预测将很容易，就像我们监控实验运行的方式一样。

Answer 1

我的团队最近添加了MLflow和我们的开源数据监控库whylogs之间的集成。这使您可以记录通过模型和/或模型输出的数据的统计配置文件。然后，您可以从MLflow run工件中收集这些配置文件，并对它们进行漂移分析。

我们有一个指导您完成集成过程的notebook和一个与之配套的blog post。Lmk如果您有任何问题或其他功能请求！