服务模型中的Kubeflow流水线

Question

我开始为一个项目挖掘kubeflow管道，并有一个初学者的问题。似乎kubeflow管道可以很好地用于培训，但是在生产中服务如何呢？

我有一个相当密集的预处理流水线用于训练，并且必须应用相同的流水线进行生产预测。我可以使用像Seldon这样的东西来创建端点来启动预处理管道，应用模型，然后返回预测吗？或者更好的方法是将所有东西都放在一个docker容器中？

Answer 1

是的，你绝对可以使用Seldon来提供服务。事实上，Kubeflow团队提供了一种在培训和服务之间建立联系的简单方法：fairing

光顺提供了一种部署预测端点的编程方法。您还可以查看this example，了解如何根据您的训练结果部署您的Seldon端点。

Answer 2

KF管道是为自始至终运行的管道设计的。服务进程没有终点，因此，尽管可能，服务本身应该在管道之外处理。

管道应该做的是将经过训练的模型最终推向持久的服务服务。

该服务可以由CMLE服务、Kubeflow的TFServe、Seldon等来执行。

我是否可以使用像Seldon这样的服务来创建端点，以启动预处理管道，应用模型，然后返回预测？

由于容器启动开销，Kubeflow管道通常处理批处理作业。当然，您可以为单个预测运行管道，但延迟可能是不可接受的。对于服务来说，拥有一个专用的长期容器/服务来接受请求、转换数据和进行预测可能会更好。