首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >从数据流作业中删除Google存储中的文件

问从数据流作业中删除Google存储中的文件
EN

Stack Overflow用户
提问于 2020-07-15 18:05:38
回答 1查看 967关注 0票数 1

我有一个在python3.7中用apache创建的数据流,在这里我处理了一个文件,然后我不得不删除它。该文件来自google桶,问题是当我使用DataflowRunner运行程序时,我的工作无法工作,因为Google python3.7环境中没有安装Google云存储API。你们知道吗,不使用这个API,我怎么才能删除数据流中的文件呢?我见过apache_beam模块,如https://beam.apache.org/releases/pydoc/2.22.0/apache_beam.io.filesystem.html,但我不知道如何使用它,也没有找到关于如何使用该模块的教程或示例。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-07-15 20:55:47

我认为您无法在运行数据流作业时删除。您必须在数据流作业完成后删除该文件。我通常推荐某种编排方式,比如airflow或。

你可以在气流中做DAG,如下所示

​

这里,

“自定义DAG工作流”将具有数据流作业。

“自定义Python代码”将有python代码来删除该文件

参考- https://github.com/GoogleCloudPlatform/professional-services/tree/master/examples/cloud-composer-examples/composer_dataflow_examples

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/62921168

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档