当前的波束管道正在使用FileIO.matchAll().continuously()以流的形式读取文件。这将返回PCollection。我想将这些具有相同名称的文件写回另一个gcs bucket,也就是说,每个PCollection都是一个文件metadata/readableFile,它应该在经过一些处理后写回另一个bucket。有没有什么接收器可以用来将每个PCollection项目写回GCS,或者有什么方法可以做到?是否有可能为每个元素创建一个窗口,然后使用一些GCS接收器IO来实现这一点。当操作一个窗口(即使它有多个元素)时,beam是否保证一个窗口要么被完全处理,要么根本不被处理,换句话说,对于给定的窗口,对GCS or bigquery的写操作是原子的,而不是部分的,以防出现任何故障?
发布于 2018-01-15 08:33:51
您是否可以使用FileSystems DoFn<ReadableFile, Void>编写一个获取该文件并将其复制到所需位置的FileSystems?你不需要任何“接收器”来做到这一点--在任何情况下,这都是所有的“接收器”(TextIO.write(),AvroIO.write()等)。它们是由ParDo和GroupByKey组成的简单的波束变换。
https://stackoverflow.com/questions/48237870
复制相似问题