Google Cloud Data Fusion，如何在一个管道中将多个表加载到bigquery

Question

我想使用云数据融合加载aws rds mysql服务器中的许多表。每个表的存储大小约为1 1gb。我还找到了一个名为“多数据库表”的插件来加载多表。但我失败了。而且，基本上当我使用数据库源时，我可以检查我的表的模式。然而，在多个数据库表中，我找不到如何检查表模式。我如何使用此插件?或者在数据融合服务中是否有其他方法加载多个表？

我的管道设置如下。

​

Answer 1

我张贴这篇Community Wiki是因为OP没有提供足够的细节来复制，但下面的信息可能会对某些人有所帮助。

使用Cloud Data Fusion获取数据的方法很少，您可以根据需要使用pipeline、plugin、driver和其他一些方法。

在互联网上，你可以找到两个描述得很好的指南和例子。

如果你想找到一些关于Cloud Data Fusion与GCP产品的信息，你应该阅读Bahadir Bulut指南- How I used Google Cloud Data Fusion to create a data warehouse - Part 1和Part 2。此外，Data Fusion还允许使用150+预配置的connectors and transformations，如Amazons S3、SQS等。

另一个很好的描述(我猜这会对OP有帮助)是配置Amazon和GCP资源并使用pipelines。本指南是Building a Simple Batch Data Pipeline from AWS RDS to Google BigQuery — Part 1: Setting UP AWS Data pipeline和第二部分Building a Simple Batch Data Pipeline from AWS RDS to Google BigQuery — Part 2: Setting up BigQuery Transfer Service and Scheduled Query.。简而言之，本指南描述了两个主要步骤：

1. 从MYSQL RDS提取数据并使用AWS data pipeline服务
2. 从S3导入到AWS data pipeline，使用BigqQuery transfer service.

将文件导入到Bigquery中