Google Dataflow可以生成拼图文件吗

Question

Google Dataflow可以生成Parquet文件作为ETL转换的输出吗？

Input -> Dataflow ->拼图文件

Answer 1

自2019年2月在2.10中引入parquetio以来，Cloud Dataflow一直支持编写拼图。从docs

with beam.Pipeline() as p:
  records = p | 'Read' >> beam.Create(
    [{'name': 'foo', 'age': 10}, {'name': 'bar', 'age': 20}]
  )
  _ = records | 'Write' >> beam.io.WriteToParquet(filename,
  pyarrow.schema(
      [('name', pyarrow.binary()), ('age', pyarrow.int64())]
  )
)

Answer 2

Cloud Dataflow没有内置的生成拼图文件的方式，但基于Parquet API的快速浏览，实现custom file-based Dataflow sink应该相对容易(请参阅"FileBasedSink“)。