将数据从BQ移动到

Question

有人能帮助我理解如何将数据从BQ (OLAP)转移到(OLTP)吗？这将是一个一次性的回填过程，然后每个月重复一次。在进入细节之前，我想指出的是，我们还没有准备好为CloudSQL或BigData投资，所以我们决定，由于公共站点将从relationalDB读取处理过的数据，所以我们决定可以将BQ中存在的分析数据转移到relationalDB。

我想到两种方法：

1. Microservice可以有一个石英作业，它可以读取be中的数据以添加到relationalDB中，但是，这会有多高的效率呢？
2. ETL处理读取and中的数据并保存到relationalDB中。
3. 将数据从BQ保存到云存储中，作为json文件，然后读取该文件，然后处理并保存在relationalDB中(这可以通过服务或ETL进程完成)

有谁有其他方法可以建议吗？

Answer 1

为了提高效率，我可以建议这个过程

• 提取BigQuery数据并将它们保存为CSV
  • 如果数据太大。在BigQuery中创建一个临时表，其中包含要导出的数据，并使用BigQuery存储API将整个表内容导出为CSV格式的存储。

• 在Server上，在临时表中导入CSV (快速和高效)
• 在临时表和实际表之间执行使用SQL查询的ETL和合并插入。
• 删除临时表