我有一个在python3.7中用apache创建的数据流,在这里我处理了一个文件,然后我不得不删除它。该文件来自google桶,问题是当我使用DataflowRunner运行程序时,我的工作无法工作,因为Google python3.7环境中没有安装Google云存储API。你们知道吗,不使用这个API,我怎么才能删除数据流中的文件呢?我见过apache_beam模块,如https://beam.apache.org/releases/pydoc/2.22.0/apache_beam.io.filesystem.html,但我不知道如何使用它,也没有找到关于如何使用该模块的教程或示例。
发布于 2020-07-15 20:55:47
我认为您无法在运行数据流作业时删除。您必须在数据流作业完成后删除该文件。我通常推荐某种编排方式,比如airflow或。
你可以在气流中做DAG,如下所示

这里,
“自定义DAG工作流”将具有数据流作业。
“自定义Python代码”将有python代码来删除该文件
https://stackoverflow.com/questions/62921168
复制相似问题