在Spark的Google云存储连接器中更改存储桶类(区域/多区域)

Question

目前，我在欧洲地区运行我的Dataproc集群。我在同一个集群上运行spark应用程序。当使用spark中的Google云存储连接器写入bucket时，bucket会自动使用Multi-Region类和美国属性中的多个区域创建。

我正在使用以下命令编写文件

dataframe.write("gs://location").mode()...

这将在具有上述属性的位置中创建新的存储桶。

已尝试查找配置以在连接器中设置存储类，但未成功。我们如何解决这个问题。

Answer 1

来自文档：Cloud Dataproc staging bucket

在创建集群时，默认情况下，云数据流程会在您的项目中创建云存储分段存储桶，或者重用先前集群创建请求中已有的由云数据流程创建的分段存储桶。此存储桶用于暂存群集作业依赖项、作业驱动程序输出和群集配置文件。您可以指定一个现有的云存储存储桶，Cloud Dataproc将使用该存储桶作为集群的临时存储桶，而不是依赖于创建默认的临时存储桶。

如果您通过命令创建Dataproc集群，请尝试添加--region=REGION

gcloud dataproc clusters create cluster-name --region region ...

Answer 2

Google云存储连接器不支持存储桶位置配置。

通常这不是问题，因为用户使用他们需要的存储位置写入现有的存储桶。