数据流工作:组合函数

Question

我有多个自定义的组合函数，我这样叫它们：

例如，我之前在流水线中计算了'data‘。

cd1 = data | customCombFn1()
cd2 = data | customCombFn2()
cd3 = data | customCombFn3()

在上述情况下，管道是如何工作的？“数据”是否一次又一次地被评估？或者，cd1、cd2和cd3被评估为管道的副产品？

Answer 1

您的data对象是一个PCollection。

不会有你所说的“重新评估”。PCollection通常是在多个工作进程上生成的，并立即由需要它的转换使用。如果在给定的情况下这是不可能的，PCollection通常将被存储以供以后处理。

一般来说，云数据流服务会自动对用户的管道进行优化。在大多数情况下，包括这种情况，它允许用户专注于他们的业务逻辑，而不是底层的执行考虑。