气流和库贝流管道有什么区别？

Question

机器学习平台是商业领域的热门词汇之一，其目的是为了促进ML或深度学习的发展。

工作流调度器或工作流调度程序有一个公共部分，可以帮助用户构建DAG、调度和跟踪实验、作业和运行。

有许多机器学习平台都有工作流调度器，如库贝流管道、FBLearner流、弗莱特等。

我的问题是，气流和Kubeflow管道或其他ML平台工作流调度器的主要区别是什么？

而且气流支持不同的语言API，并且有很大的社区，我们可以用气流来构建我们的ML工作流吗？

Answer 1

您肯定可以使用气流来编排机器学习任务，但您可能希望与操作员远程执行ML任务。

例如，Dailymotion使用KubernetesPodOperator来缩放ML任务的气流。

如果您没有资源自己设置一个Kubernetes集群，您可以使用像瓦洛海这样的具有气流运算符的ML平台。

当在生产中执行ML时，理想情况下，您还想要对模型进行版本控制，以跟踪每次执行的数据、代码、参数和度量。

您可以在为机器学习工作流扩展Apache气流上找到本文的更多细节。

Answer 2

我的问题是，气流和Kubeflow管道或其他ML平台工作流调度器的主要区别是什么？

气流管道在气流服务器中运行(如果任务过于资源密集，就有可能将其关闭)，而Kubeflow管道则运行在专用的Kubernetes吊舱中。此外，气流管道被定义为Python脚本，而Kubernetes任务被定义为Docker容器。

而且气流支持不同的语言API，并且有很大的社区，我们可以用气流来构建我们的ML工作流吗？

是的，您可以，例如，您可以使用一个气流DAG在Kubernetes吊舱中启动一个培训任务来运行一个模拟Kubeflow行为的Docker容器，您将错过一些来自Kubeflow的ML特定特性，比如模型跟踪或实验。