多区域Cloud联邦BigQuery查询不工作

Question

根据Cloud联邦查询文档，可以运行多区域BigQuery作业，在指定的多个区域所包含的区域中查询Cloud实例：

BigQuery多区域可以查询同一位置(美国、欧盟)的任何Cloud区域.例如：

• BigQuery US多区域可以查询Cloud central1 1、us-east4 4、us-west2 2等等。
• BigQuery EU多区域查询Cloud North-1，EuropeanWest2，等等。

但是，当我试图在US 4中的Cloud实例上运行一个查询时，它会抛出一个神秘的错误。

SELECT id FROM EXTERNAL_QUERY("project.us-east4.external_conn_name", "SELECT id FROM users")

拒绝访问: URI: projects/project/locations/us-east4/connections/external_conn_name: APPLICATION_ERROR;google.cloud.bigquery.connection.v1beta1/ConnectionService.GetPrivateConnectionInfo;RPC error;AppErrorCode=7;

相同的查询在以us-east4 4的处理位置运行时成功完成。

我已经成功地运行了大约两个月的多区域联合查询，以类似于描述的BigQuery的方式执行ETL作业，在美国以类似于描述here的方式将Cloud数据加载到美国的Cloud数据集中。我的云团队已经审计了IAM更改，似乎没有任何可能导致此问题的更改。似乎昨晚谷歌云平台悄悄的发布了一些变化，它破坏了我运行的大约100个ETL作业。我正忙着想出一个快速的解决办法，这样我的公司就可以继续使用依赖于这些ETL工作的数据。对我如何解决这个问题有什么想法吗？

Answer 1

我已经就此事向GCP提交了几个问题，但至今仍未得到答复。希望很快就能修好。

下面是我为解决这个问题所做的工作：

与Cloud instance

• Export相同区域(US-east4 4)中的数据集的目的地运行上面的提取作业，上面的数据作为步骤1(US-east4 4)

• 运行在同一个区域的GCS桶中，运行云存储传输服务任务，将GCS存储桶中的数据复制到与最终目的地 BigQuery (US)

1. 相同的多区域的GCS存储桶中，将多区域GCS存储桶中的数据加载到多区域的GCS桶中。

这使得一个快速可靠的一步ETL变成了一个昂贵的四步ETL，涉及大量的中间存储。谷歌请你解决这个问题！