基于前提的MLOps管道栈

Question

我的动机是建立一个MLOps管道，这是100%独立于云服务，如AWS，GCP和Azure。我有一个项目的客户在一个生产工厂，并希望建立一个基于相机的对象跟踪ML服务为他们。我想在我自己的服务器或(前提下的计算机)中构建这个管道。我真的很困惑我应该使用什么堆栈。我一直在使用基于云组件的解决方案。如果能得到一些关于我可以使用哪些组件的建议，最好是开源的，那就太好了。

Answer 1

假设您的主要目标是构建一个100%的无云MLOps管道，那么您可以使用大多数开源技术来实现这一点。以下所有内容都可以安装在prem /无云服务上

用于培训：您可以使用您想要的任何东西。我推荐Pytorch，因为它对下面的一些建议更好，但是Tensorflow也是一个很受欢迎的选择。

For CI/CD：如果这将在prem上进行，并且您将使用生产数据/需要通过每次代码更新来触发对部署的更新，则可以使用Jenkins (开源)或CircleCI (商业)对模型进行再培训

For Model Packaging：底盘(开放源码)是我所知道的唯一一个项目，用于将AI/ ML模型文件通用地转换为一些有用的东西，可以在您的预期硬件上运行。它基本上是以一个AI / ML模型文件作为输入，并创建一个码头图像作为其输出。它是开源的，支持英特尔、ARM、CPU和GPU。网站在这里：http://www.chassis.ml和git在这里：https://github.com/modzy/chassis

用于部署：底盘模型容器是使用内部gRPC服务器自动生成的，这些服务器可以在本地部署为码头容器。如果您只想通过它们来流单个数据源，SDK就有这样做的方法。如果您想要接受多个流或自动扩展到基础设施上的可用资源，那么您将需要一个Kubernetes集群，其中包含一个部署解决方案，比如Modzy或KServe。底盘容器与任何一个都可以在箱外工作。

• KServe (https://github.com/kserve/kserve)是免费的，但基本上只是为您提供了一个集中处理平台，托管大量运行模型的副本。它不允许以后对模型的处理历史进行分类。

• Modzy (https://www.modzy.com/)是商业化的，但也加入了所有的RBAC、职务历史保存、审计等等。如果您想集中管理您的模型，但是要在相机硬件上而不是在集中式服务器上以分布式方式运行，https://www.modzy.com/还具有边缘部署功能。

Answer 2

根据您对on prem解决方案的需求，您可以继续使用Kubeflow，还可以使用以下默认存储类:nfs provisioner on prem负载平衡: metallb