GCP数据流计算图与作业执行

Question

大家好，当我在中创建一个自定义模板时，我尽力去理解正在发生的事情，但是没有理解。多亏了GCP文件。以下是我正在取得的成就。

从Google Bucket

• Pre-Process predictions

• Dump it

• Load Deeplearning (各1GB)读取数据，并在BigQuery.

中获取结果。

我成功地创建了模板，并且能够执行任务。但我有以下问题。

1. 在执行作业时，每次在执行或期间下载模型(5个模型和每个模型)，模型被加载并放置在模板(执行图)中，在执行过程中使用加载的模型(
2. )，如果模型的加载只发生在作业执行期间，那么它不会影响执行时间吗？由于每次作业是triggered?
3. Can时都要加载模型文件的GBs，所以多个用户同时触发相同的模板？因为我想生产它，所以我不确定它将如何同时处理多个请求？

。

有谁能分享一下这方面的信息吗？

我提到的来源，但没有得到答案：https://cloud.google.com/dataflow/docs/guides/deploying-a-pipeline#pipeline-lifecycle-from-pipeline-code-to-dataflow-job http://alumni.media.mit.edu/~wad/magiceight/isa/node3.html https://cloud.google.com/dataflow/docs/guides/setting-pipeline-options#configuring-pipelineoptions-for-local-execution https://beam.apache.org/documentation/basics/ https://beam.apache.org/documentation/runtime/model/ https://mehmandarov.com/apache-beam-pipeline-graph/

Answer 1

这取决于模型从哪里加载。如果它们加载在DoFns中(很可能)，那么它将发生在工人中(在作业执行期间)。

至于您的另一个问题，多个用户同时触发模板作业不应该出现问题。