我尝试使用Google平台上的以下链接在GCP中配置Apache集群。
https://cloud.google.com/solutions/using-apache-hive-on-cloud-dataproc
我已经建立了一个项目,并有整整几年的学分可用。本页面中提到的脚本使用Google来混淆集群,而不是使用GCP。
这就是问题所在,我执行上述所有步骤,就在我要使用以下命令创建集群时--“它失败了”!!
gcloud dataproc clusters create hive-cluster. \
--scopes sql-admin \
--image-version 1.3 \
--initialization-actions gs://dataproc-initialization-actions/cloud-sql-proxy/cloud-sql-proxy.sh \
--properties hive:hive.metastore.warehouse.dir=gs://$PROJECT-warehouse/datasets \
--metadata "hive-metastore-instance=$PROJECT:$REGION:hive-metastore"我得到的错误是“不足的'CPUS‘配额。请求12.0,可用8.0。”
现在问题就在这里。如果我使用GCP UI - dataproc来创建集群,我本来可以配置CPU的,但对于Hive,该选项有其自身的局限性。
因此,我不得不通过shell以语法的方式启动集群。现在,我不知道如何解决这个问题,除非我物理地打开了google上可用的每个shell脚本,并找到了这些值的设置位置。
有人帮忙吗?也许我该换个角度看这个..。
发布于 2019-03-25 12:09:12
如果您的问题只与配额问题有关,它有一个简单的解决方案,只需请求增加CPU配额即可。
https://serverfault.com/questions/957620
复制相似问题