我正在使用数据流从GCS存储桶中读取文件,并对其进行一些转换。为此,我使用了beam.io.ReadFromText()方法。
标记已经读取的文件的最佳方式是什么,以便相同的文件不会被数据流重复读取?
发布于 2020-07-03 04:09:11
使用beam.io.ReadFromText的数据流作业将只读取与给定模式匹配的每个文件一次。从您的问题可以看出,您正在尝试多次运行管道,并且只读取自上次运行以来出现在GCS存储桶中的文件?在这种情况下,您有两个选择。
(1)使用apache_beam.io.textio.ReadFromTextWithFilename,然后记录您已经在某处读取的文件名集合(例如,将它们写入文本文件),以便在构建下一次运行时读取的文件集合时进行参考,或者
(2)使用apache_beam.io.textio.ReadAllFromText从文件名的PCollection中读取,它被计算为存在于您的存储桶中但在之前的任何运行中都没有被读取的东西的集合(例如,使用apache_beam.io.fileio.MatchFiles) (通过GCS中的单独输出文件记录,如(1)所示)。
流式管道是否能更好地满足您的需求可能是值得考虑的。
发布于 2020-07-04 18:02:27
一种可能的解决方案是设置一个云存储触发器,将上传到存储桶中的每个文件的名称作为单独的PubSub消息发布到您选择的主题(即projects/PROJECT_ID/topics/TOPIC_NAME)。
然后,您可以设置一个流式数据流管道,该管道通过beam.io.ReadFromPubSub(topic='projects/PROJECT_ID/topics/TOPIC_NAME')摄取这些PubSub消息,可以从其中提取文件名,并使用beam.io.ReadAllFromText()读取文件中的数据。然后,您可以使用自己的自定义转换继续管道。
这种模式消除了跟踪已经转换的文件的需要,因为每个文件在上传到存储桶后都会自动转换。
我偶然发现了以下有用的链接,它可以帮助实现上述模式的细节(请参阅“GCS文件的流式处理”小节)。https://medium.com/@pavankumarkattamuri/input-source-reading-patterns-in-google-cloud-dataflow-4c1aeade6831
希望这能有所帮助!
https://stackoverflow.com/questions/62692416
复制相似问题