调度数据流管道

Question

我想安排一个google数据流作业每一小时运行一次。

我检查了这个url https://cloud.google.com/blog/big-data/2016/04/scheduling-dataflow-pipelines-using-app-engine-cron-service-or-cloud-functions，但是我有很多错误。

我怎样才能做到这一点？

Answer 1

从我的角度来看，使用app引擎是在尝试重新使用一个很好的工具来做一些不同的事情。

我们选择运行我们自己的CRON实例。

Answer 2

请使用google数据流窗口和无界源https://cloud.google.com/dataflow/model/windowing https://cloud.google.com/dataflow/examples/gaming-example检查是否在这样的情况下工作。

Answer 3

您可以使用每1小时运行一次并调用云函数的云调度程序，云函数将使用Dataflow客户端API库提交数据流作业。

检查这个链接https://dzone.com/articles/triggering-dataflow-pipelines-with-cloud-functions