将google数据流管道写入多个汇的结果

Question

我想写谷歌数据流管道结果到多个汇。

例如，我希望使用TextIO将结果写入，并将结果作为一个表写入BigQuery中。我怎么能这么做？

Answer 1

Cloud管道的结构是一个DAG (有向无圈图)，它允许对同一个PCollection应用多个转换--写转换也不例外。可以将多个写转换应用于结果的PCollection，例如：

PCollection<Foo> results = p.apply(TextIO.Read.named("ReadFromGCS").from("gs://..."))
                         .apply(...the rest of your pipeline...);
results.apply(TextIO.Write.named("WriteToGCS").to("gs://..."));
results.apply(BigQueryIO.Write.named("WriteToBigQuery").to(...)...);