使用预览映像创建dataproc集群时未能打开

Question

我正在使用星火对一些数据做一些计算，然后推到蜂巢。云Dataproc版本为1.2，包括Hive2.1。Hive中的Merge命令仅在2.2版本之前支持。因此，我必须对dataproc集群使用预览版本。当我对dataproc集群使用1.2版本时，我可以创建集群，而不会出现任何问题。在使用预览版本时，我得到了“未能打开Cloud ”这个错误。初始化脚本是这里。以前有没有人遇到过这个问题？

hive-metastore.service is not a native service, redirecting to systemd-sysv-install.
Executing: /lib/systemd/systemd-sysv-install is-enabled hive-metastore
mysql.service is not a native service, redirecting to systemd-sysv-install.
Executing: /lib/systemd/systemd-sysv-install disable mysql
insserv: warning: current start runlevel(s) (empty) of script `mysql` overrides LSB defaults (2 3 4 5).
insserv: warning: current stop runlevel(s) (0 1 2 3 4 5 6) of script `mysql' overrides LSB defaults (0 1 6).
Created symlink /etc/systemd/system/multi-user.target.wants/cloud-sql-proxy.service → /usr/lib/systemd/system/cloud-sql-proxy.service.
Cloud SQL Proxy installation succeeded
hive-metastore.service is not a native service, redirecting to systemd-sysv-install.
Executing: /lib/systemd/systemd-sysv-install is-enabled hive-metastore
[2018-06-06T12:43:55+0000]: Failed to bring up Cloud SQL Metastore

Answer 1

我相信问题可能是您的转移是从旧版本的Dataproc初始化的，因此已经过时了模式。

如果您有失败的集群(如果没有，请像以前一样创建一个新的集群，您可以使用--single-node选项来降低成本)，然后SSH将主节点和升级模式：

$ gcloud compute ssh my-cluster-m

$ /usr/lib/hive/bin/schematool -dbType mysql -info
Hive distribution version:       2.3.0
Metastore schema version:        2.1.0    <-- you will need this

org.apache.hadoop.hive.metastore.HiveMetaException: Metastore schema version is
not compatible. Hive Version: 2.3.0, Database Schema Version: 2.1.0
*** schemaTool failed ***

$ /usr/lib/hive/bin/schematool -dbType mysql -upgradeSchemaFrom 2.1.0

不幸的是，此群集无法返回到运行状态，因此请删除并重新创建它。

我创建这个PR是为了让问题更容易被发现：https://github.com/GoogleCloudPlatform/dataproc-initialization-actions/pull/278