Google dataproc未能创建带有初始化脚本的新集群

Question

我使用以下命令创建data集群：

gcloud dataproc集群创建informetis-dev -初始化-action“gs://dataproc-initialization-actions/jupyter/jupyter.sh，gs://dataproc-initialization-actions/cloud-sql-proxy/cloud-sql-proxy.sh，gs://dataproc-initialization-actions/hue/hue.sh，gs://dataproc-initialization-actions/ipython-notebook/ipython.sh，gs://dataproc-initialization-actions/tez/tez.sh，gs://dataproc-initialization-actions/oozie/oozie.sh，。gs://dataproc-initialization-actions/zeppelin/zeppelin.sh，gs://dataproc-initialization-actions/user-environment/user-environment.sh，gs://dataproc-initialization-actions/list-consistency-cache/shared-list-consistency-cache.sh，gs://dataproc-initialization-actions/kafka/kafka.sh，gs://dataproc-initialization-actions/ganglia/ganglia.sh，gs://dataproc-initialization-actions/flink/flink.sh”-映像-版本1.1 -主引导磁盘大小100 n1主机-机器类型N1-标准-1-元数据"hive-metastore-instance=g-test-1022:asia-east1:db_instance”-num-抢占工人2-num-工人2-抢占-工人-启动-磁盘大小1TB -属性hive:hive.metastore.warehouse.dir=gs://informetis-dev/hive-warehouse-工人.n1型机器-标准-2-地区亚洲-东1-b-桶信息开发

但是，Dataproc未能创建包含以下故障文件错误的集群：

cat + MySQL -u hive -phive- -e‘-e’错误2003 (HY000)：无法连接到“localhost”(111) + mysql -e‘创建用户“\’”“hive‘”标识的“MySQL服务器”；“错误2003”(HY000)：无法连接到“localhost”(111)上的mysql服务器。

有人知道这次失败的原因吗？

Answer 1

您似乎缺少了--scopes sql-admin标志，如初始化操作文档中所描述的，这将阻止CloudSQL代理授权其隧道进入CloudSQL实例。

此外，除了作用域之外，您还需要确保默认计算引擎服务帐户在任何一个项目中都拥有正确的项目级权限，该项目包含您的CloudSQL实例。通常，默认的服务帐户是GCE项目中的project editor，所以当与sql-admin作用域组合在一起访问同一个项目中的CloudSQL实例时，这应该就足够了，但是如果要在单独的项目中访问CloudSQL实例，则还必须将该服务帐户作为项目编辑器添加到拥有CloudSQL实例的项目中。

您可以在部署Dataproc集群的项目的IAM页面下找到默认计算服务帐户的电子邮件地址，名称为"Compute默认服务帐户“；它应该类似于<number>@project.gserviceaccount.com`。

Answer 2

我假设您已经用这样的方法创建了Cloud实例，对吗？

gcloud sql instances create g-test-1022 \
  --tier db-n1-standard-1 \
  --activation-policy=ALWAYS

如果是这样，那么看起来错误就在于元数据的参数是如何格式化的。你有这个：

--metadata "hive-metastore-instance=g-test-1022:asia-east1:db_instance”

不巧的是，该区域看起来不完整(asia-east1而不是asia-east1-b)。

此外，通过运行那么多的initializayion操作，您需要提供一个相当慷慨的初始化操作超时，这样集群就不会假设某些操作失败了，而您的操作需要一段时间才能安装。您可以通过指定以下方法来做到这一点：

--initialization-action-timeout 30m

这将允许集群给初始化操作30分钟来引导。

Answer 3

在您报告时，已检测到云sql代理初始化操作存在问题。很可能是这样的问题影响了你。

现在，这不应该是一个问题。