只在大查询作业完成后触发数据流的方法

Question

实际上，对我的数据执行以下步骤：

GCS中的新对象触发一个Google函数，该函数创建一个BigQuery作业来将这些数据加载到BigQuery。

我需要低成本的解决方案，以知道什么时候完成这个大查询作业，并触发一个数据流管道，只有在工作完成后。

国家统计局：

• 我知道Google函数的BigQueryα触发器，但我

不知道是不是一个好主意，从我看到的这个触发器使用的是作业id，根据我所看到的，这个id是不能修复的，而且每当运行作业时，显然必须再次部署这个函数。当然还有

这是一种阿尔法解决方案。

• -> Pub/Sub -> Google云函数-> Dataflow解决方案，但我没有找到任何日志。

指示作业已完成。

• 我的文件很大，所以使用Google函数等待作业完成并不是一个好主意。

Answer 1

尽管您提到了Stackdriver，但您可以将它与此筛选器一起使用。

resource.type="bigquery_resource"
protoPayload.serviceData.jobCompletedEvent.job.jobStatus.state="DONE"
severity="INFO"

如果需要，还可以添加数据集筛选器。

然后在这个高级过滤器上创建一个接收器函数并运行您的数据流作业。

如果这不符合你的期望，你能详细说明原因吗？

Answer 2

您可以查看Composer，它被管理为按顺序编排作业的Apache气流。Composer创建DAG并执行DAG的每个节点，还检查依赖项，以确保事物根据您定义的条件并行或顺序运行。

您可以看看这里提到的示例- https://github.com/GoogleCloudPlatform/professional-services/tree/master/examples/cloud-composer-examples/composer_dataflow_examples。