Google云欧洲区域与bigquery和数据流不匹配

Question

bigquery数据集的文档指出，可以获得以下欧洲区域(A)：

• 欧洲-北部1
• 欧洲-西部3
• 欧洲-西部2
• 欧洲-西部6

数据流国家的文档 --这些是可用的欧洲区域(B)：

• 欧洲-西部1
• 欧洲-西方4

正如你所看到的，这些区域之间没有重叠。

我们正在构建一个应用程序

• 从php后端创建数据集、bigquery表等。
• 使用python脚本将数据从各种源转移到bigquery到数据流

我们愚蠢(事后看来)把我们的项目分成这两个部分，这两个部分是独立完成的。两样都有用。从来没有人想到这会成为我们的问题(现在应该很明显了)：

• php不能与B一起工作
• 数据流脚本不能与A一起工作
• 数据流不能在区域间读写
• 出于合规原因，我们不能将数据存放在欧盟之外。

我们如何解决我们的捕获22?

Answer 1

您正在将Regional Endpoint与实际的区域/区域混淆，而实际区域/区域是由worker VM为Dataflow管道划分并实际处理数据的。

Regional Endpoint处理元数据并编排数据流管道。如果您指定了--zone，那么这就是Dataflow的实际辅助VM将在其中旋转的区域。