我有一个现有的TFX管道这里,我想用KubeFlow管道SDK重写它。
现有的管道正在使用许多TFX标准件,如ExampleValidator。在检查KubeFlow SDK时,我看到一个kfp.components.package,但没有像TFX这样的现有预构建组件。
TFX是否与KubeFlow标准组件等效?
发布于 2021-11-09 06:22:28
您不必重写组件,在kfp中不存在tfx组件的映射,因为它们不是竞争性工具。
使用tfx创建组件,然后使用策划人运行它们。库贝流管道是其中之一。
tfx.orchestration.pipeline将封装tfx组件并创建管道。
我们在kubeflow管道后面有两个调度程序: Argo (由gcp使用)和Tekton (由openshift使用)。在各自的存储库中都有使用tekton的kubeflow管道tfx和使用argo的tfx与库贝流管道的示例。
发布于 2021-11-09 13:37:21
实际上,Kubeflow确实有一个在文档中引用的可重用组件的概念。它们可以是基于python的或者是基于YAML的,等等。然而,没有像TFX这样的“标准”有它们。您只需在示例回购中看到其中的一堆,并创建您自己的可重用的。
您可以在某种程度上互换地对待TFX组件和Kubeflow组件,因为TFX组件确实是通过orchestrator逻辑编译到Kubeflow表示中的。只需将KubeflowDagRunner与TFX管道一起使用即可。然而,我可能遗漏了一些东西:你改写库贝弗尔的动机是什么?
https://stackoverflow.com/questions/69891041
复制相似问题