ML模型部署CI/CD

Question

我正在使用DataBricks上的MLFlow训练模型，并将最终模型输出到S3上。然后，使用Seldon-Core打包模型并将其部署到AWS EKS。

我正在寻找一种工具，通过从S3获取模型，将其打包到码头容器中，并使用Seldon-Core K8S模板将其推送到AWS EKS，从而弥合差距。

我相信最适合这项工作的工具是Kubeflow Pipeline。其他竞争者是Jenkins、Gitlab和TravisCI。

Kubeflow是这项工作的绝对正确的工具吗? Kubeflow与其他人相比有什么优缺点？如果有人已经做了可能建造管道的研究...

Answer 1

Yaml实际上做的正是Kubeflow Pipeline开箱即用的功能，它类似于CircleCI或TravisCI。我最终用它来替代Kubeflow Pipeline。

关于Kubeflow..。在测试了Kubeflow的0.5和0.6版本后，我们的感觉是它还很不稳定。无论是在MiniKube (本地K8S )中还是在AWS EKS中，安装都从未顺利进行过。对于MiniKube，文档中的安装脚本被破坏，您将能够看到许多人有问题，并手动编辑安装脚本(这是我必须做的，以使其正确安装)。在EKS上，我们无法安装0.5，必须安装一个更老的版本。Kubeflow希望以特定的方式管理工作节点，我们的安全策略不允许这样做，只有在订单版本中，您才能覆盖该选项。

Kubeflow也正在切换到Kuztomize，它还不稳定，所以如果你现在使用它，你将使用不再支持的Ksonnet，你会学到一个迟早会被淘汰的工具。

总而言之，应该等到1.0版了，但是Gitlab作为kubeflow Pipeline的替代品做了一个很棒的工作。

希望这对其他有同样想法的人有所帮助