设计

Question

我们需要您对以下场景的数据流设计提供指导。

需求:我们需要构建一个数据流作业来读取数据流MS数据库并写入Bigquery。我们需要数据流作业作为输入“表名列表”(源表和目标表名称)来读取和写入数据。

问题:在每天的日程安排中，数据流是否可以将表列表(即50个表名)作为输入，并将数据从源复制到目标，还是将其设计为50个独立的数据流作业。数据流是否会自动调整员工数量-而不会降低源MS服务器？

关键信息:源: MS数据库目标: Bigquery . of Table: 50进度表:每天早上8点写处理:写截断(或写附录)

Answer 1

您必须创建一个数据流模板才能按计划触发它。在该模板上，您必须定义一个输入变量，您可以在其中放置表列表。

然后，在同一个数据流作业中，可以有50个独立的管道，每个管道在一个表中读取，然后在BigQuery中下沉数据。您不能并行运行50个数据流作业，因为配额制 (每个项目限制为25个)。此外，这将降低成本效益。

事实上，Dataflow能够在同一个工作器上并行不同的管道(在不同的线程中)，并且能够根据工作负载的要求来缩放集群的大小。