将原始谷歌分析数据从BigQuery移动到S3

Question

我们已经整合了客户网站和BigQuery。因此GA每天都将原始数据转储到Bigtable中。现在我的目标是将这些数据转移到亚马逊S3。

我可以使用GCP传输作业将这些原始数据从大人物移动到google，然后从那里移动到S3。但是，GCP需要将数据存储到云中。

现在，Google还提供了不同语言的客户机库，实习生称之为GCP。现在，我可以使用Java库查询BigTable，但是我不确定这些查询是否收费，以及这些客户端库是否有配额限制。

因此，如果有人在GA & bigQuery上工作过，请指导我如何阅读Bigtable中的数据，而无需花费客户一分钱。

Answer 1

一种可能的解决方案是在BigQuery端有一个作业，每天生成一个压缩文件并将其存储在GCS中，然后有一个EC2实例，在EC2实例上安装gsutil，并触发gsutil每天从GCS复制文件。

我们每天都以这种方式移动压缩的JSON文件。

祝好运!