TensorFlow扩展:澄清光束、气流和库贝流的使用

Question

我希望有人能澄清TensorFlow与它的依赖关系(Beam、AirFlow、Flink等)

我指的是TFX的主页面：airflow等等。

在示例中，我看到了三个变体：pipeline taxi_pipeline_flink.py、taxi_pipeline_kubeflow.py、taxi_pipeline_simple.py

梁的例子？

没有“梁”的例子，也很少描述它的用途。

假设即使没有安装气流，taxi_pipeline_simple.py也会运行，这是正确的吗？我认为没有，因为它使用"AirflowDAGRunner“。如果没有，那么你能运行TFX只有梁和它的转轮吗？如果是的话，为何没有这样的例子呢？

Flink实例

在taxi_pipeline_flink.py中，使用AirflowDAGRunner。我假定这是使用AirFlow作为一个编排器，而后者又使用Flink作为其执行器。对，是这样?

气流实例

该页指出，波束是一个必要的依赖，但气流没有梁作为其执行者之一。它只有SequentialExecutor、LocalExecutor、CeleryExecutor、DaskExecutor和KubernetesExecutor。因此，在不使用气流的情况下，是否只需要束流？当使用气流时，梁的用途是什么，如果需要的话？

谢谢你的见解。

Answer 1

( A)为了运行TFX管道，您需要调度器。例如Apache气流、Kubeflow管道和Apache梁。

Apache Beam也(可能主要是)用于某些TFX组件中的分布式数据处理。因此，Apache对于您选择的任何调度器都是必要的(即使您不使用Apache作为调度器！)

回答你的观点：

1)光束示例--现在在beam.py有一个梁示例。正如您正确预期的那样，这里没有AirflowDAGRunner，因为此示例不使用气流作为协调器。

( 2)气流实例--由于上述原因，BEAM是必需的依赖项: TFX总是将BEAM用于某些组件中的分布式数据处理。因此，即使有气流(或任何其他)作为协调器，你也需要光束。

3) Flink示例--目前，我在任何地方都找不到这个例子(可能是因为您发布后链接发生了变化)，但是Flink可能会被用作跑步者，而气流是调度器。然而，我在气流的文档中找不到提到Flink的地方。

希望它能在一定程度上有所帮助。