MLOps -如何刷新ML模型

Question

下图显示了我们公司用于管理模型生命周期的两条管道。

​

​

• 第一个管道，" application "，涉及到创建承载模型并具有推理逻辑的应用程序组件。
• 第二种是“模型”，它是一个以二进制格式生成模型的管道。

(模型和应用程序)将一起部署在我们的协调器( kubernetes集群)中。

​

​

我所处的情况是，应用程序逻辑不会改变，但是模型会改变。我可以在下面的情况中找到自己。

​

​

我想有两种方法可以管理运行时模型在orchestrator上的刷新(希望有人给我建议其他我还没有想过的可能性)：

1. 在应用程序逻辑中；代码通过接受新模型来管理线程的刷新。
   • 优点:不生成新容器。
   • 缺点:引入bug的能力。

2. 通过管道；管道必须由事件(在我的例子中是git分支上的合并)触发，并通过执行滚动更新来带来容器。运行中的新容器将加载新型号。
   • 优点:现有程序
   • 缺点:模型的每个新版本都应该提供容器的新构建，即使应用程序逻辑没有改变。

问题，对于这些案例有什么最佳实践(也许是通过图像上的标记系统)，有人可以建议我吗？

谢谢Kipliko

Answer 1

最无缝的方法是通过k8s/kubectl完成滚动更新。这将需要一个新的容器，然而，这被认为是一个最佳实践，因为每个容器保持原子性和可复制性。通过线程更新模型将很难调试。

您可以做的另一个场景是使用Istio的蓝绿色部署，并在新旧模型之间缓慢移动通信量，尽管这需要更多的开销。