在BQ中连接位于不同位置的两个数据集

Question

我的团队在欧盟和美国都有数据集。我想连接两个表，一个来自欧盟的数据集，另一个来自美国。当我尝试这样做时，我得到一个错误，说无法定位来自另一个位置的表。我也尝试复制该表(这不是一个长期的解决方案，因为我需要收集正在进行的指标)，但这不起作用。

连接和分析不同位置的数据集的正确方法是什么？

Answer 1

您可以使用BigQuery Data Transfer Service在区域之间复制数据集。这是文档链接Copying Datasets

将数据集从欧盟区域复制到美国区域的BigQuery命令行选项：

bq mk --transfer_config \
      --project_id=data-lab \
      --data_source=cross_region_copy \
      --target_dataset=bq_poc_us \
      --display_name='Dataset Copy' \
      --params='{"source_dataset_id":"bq_poc_eu","source_project_id":"data-lab"}'