我在处理多个数据流工作。要求在欧洲地区(欧洲-西部1)运行应用程序的数据流批处理作业。这些欧洲地区的数据流工作花了大约7-10分钟完成整个过程(开始-处理-停止)。现在亚洲地区也提出了同样的要求。因此,我将所有相关的管道参数和其他GCP组件的区域改为亚洲(亚洲-东南1)。但这一次,数据流作业需要更多的时间开始,更多的时间处理和更多的时间来停止工人。例如,用于同一数据集,在那里花了7到10分钟才在欧洲地区完成;在亚洲区域中,现在需要20到30分钟才能完成。
我比较了所有的设置、配置和必要的日志。所有组件都在亚洲地区。但在亚洲地区却找不到任何延迟的理由。
亚洲数据流工人在GCP中有什么已知的问题吗?或者我在这里漏掉了什么。请指导我找出这个问题。
发布于 2021-10-04 20:28:43
在一个地区启动/关闭工人的时间可能因该地区的拥挤程度而异。要问的另一个问题是数据在哪里,远程(包括指定的临时目录,以及启动时的暂存目录)读写数据需要更长的时间。
https://stackoverflow.com/questions/69427828
复制相似问题