Kubeflow与通用的工作流计划器？

Question

与其他(通用的)工作流规划器相比，我很难理解Kubeflow (KF)的功能角色。

我知道KF是面向ML任务的，并且构建在Argo之上。

两个问题：

1. 可以作为工作流调度器在更高级别上使用，以执行更通用的任务(即ETL)，其结果可能在以下ML任务中有用？
2. 可以使用KF中argo的所有功能。
3. 通用工作流调度器(如气流、Argo等)。KF不能这么做吗？

Answer 1

是的，您可以创建一个python函数/通用容器，其中包含代码，其中执行like.

• pre-defined组件- https://www.kubeflow.org/docs/components/pipelines/sdk-v2/component-development/

的任何任务。

https://www.kubeflow.org/docs/components/pipelines/sdk-v2/python-function-components/

• python组件

1. KFP是Argo工作流的一个抽象操作。它使您能够使用python而不是编写YAML文件来创建工作流。查看本文：https://towardsdatascience.com/build-your-data-pipeline-on-kubernetes-using-kubeflow-pipelines-sdk-and-argo-eef69a80237c

• since Argo工作流开发是独立于KFP的，可以安全地假设KFP中缺少一些特性(根据demands).

1. that's，这是社区将添加的一个大问题。一般来说，气流具有传感器、SLA特性/大量的运算符/传感器/报告/插件以及更大的社区，因为它不是面向ML的。