在Dataproc集群上安装Datalab/木星

Question

我试图在我的Dataproc集群上安装木星笔记本/ Datalab，但是没有效果。

我遵循本教程：https://cloud.google.com/dataproc/docs/tutorials/dataproc-datalab

一步

1. 我创建了一个名为datalab-init-bucket-001的新GS桶，并将datalab.sh脚本从GitHub https://github.com/GoogleCloudPlatform/dataproc-initialization-actions/blob/master/datalab/datalab.sh上传到那里

​

1. 然后通过gcloud命令使用--initialization-actions 'gs://datalab-init-bucket-001/datalab.sh'启动Dataproc，整个命令如下所示： gcloud dataproc create cluster-test --subnet default --zone "" --master-machine-type n1-standard-4 --master-boot-disk-size 10 --num-workers 2 --worker-machine-type n1-standard-2 --worker-boot-disk-size 10 --initialization-action-timeout "10h" --initialization-actions 'gs://datalab-init-bucket-001/datalab.sh'

在这里，出现了第一个问题：

​

看看日志：

OK >下载脚本gs://datalab-init-bucket-001/datalab.sh到/etc/google-dataproc/startup-scripts/dataproc-initialization-script-0 OK >运行脚本/etc/google-dataproc/startup-scripts/dataproc-initialization-script-0并在/var/log/dataproc中保存输出-初始化-脚本-0.log OK > DIR* completeFile: com.google.cloud.hadoop.services.agent.AgentException:被DFSClient_NONMAPREDUCE_1150019196_1错误关闭> AgentRunner启动失败:com.google.cloud.hadoop.services.agent.AgentException:初始化操作启动失败(error=2，没有这样的文件或目录)。失败的操作'gs://datalab-init-bucket-001/datalab.sh‘(TASK_FAILED)在com.google.cloud.hadoop.services.agent.AgentException$Builder.buildAndThrow(AgentException.java:79) at com.google.cloud.hadoop.services.agent.BootstrapActionRunner.throwInitActionFailureException(BootstrapActionRunner.java:236) at com.google.cloud.hadoop.services.agent。BootstrapActionRunner.runSingleCustomInitializationScriptWithTimeout(BootstrapActionRunner.java:146) at com.google.cloud.hadoop.services.agent.BootstrapActionRunner.runCustomInitializationActions(BootstrapActionRunner.java:126) at com.google.cloud.hadoop.services.agent.AbstractAgentRunner.runCustomInitializationActionsIfFirstRun(AbstractAgentRunner.java:150) at com.google.cloud.hadoop.services.agent.MasterAgentRunner.initialize(MasterAgentRunner.java:165) at com.google.cloud.hadoop.services.agent.AbstractAgentRunner.start(AbstractAgentRunner.java:68) at com。google.cloud.hadoop.services.agent.MasterAgentRunner.start(MasterAgentRunner.java:36) at com.google.cloud.hadoop.services.agent.AgentMain.lambda$boot$0(AgentMain.java:63) at com.google.cloud.hadoop.services.agent.AgentStatusReporter.runWith(AgentStatusReporter.java:52) at com.google.cloud.hadoop.services.agent.AgentMain.boot(AgentMain.java:59) at com.google.cloud.hadoop.services.agent.AgentMain.main(AgentMain.由: java.io.IOException:无法运行程序 error=2引起，在java.lang.ProcessBuilder.start(ProcessBuilder.java:1048) at com.google.cloud.hadoop.services.agent.util.NativeAsyncProcessWrapperFactory.startAndWrap(NativeAsyncProcessWrapperFactory.java:33) at com.google.cloud.hadoop.services.agent.util.NativeAsyncProcessWrapperFactory.startAndWrap(NativeAsyncProcessWrapperFactory.java:27) at com.google.cloud.hadoop.services.agent.BootstrapActionRunner.createRunner(BootstrapActionRunner.java:349) at com.google.cloud.hadoop.services.agent没有这样的文件或目录.BootstrapActionRunner.runScriptAndPipeOutputToGcs(BootstrapActionRunner.java:301) at com.google.cloud.hadoop.services.agent.BootstrapActionRunner.runSingleCustomInitializationScriptWithTimeout(BootstrapActionRunner.java:142) .9进一步抑制: java.io.IOException:无法运行程序"/etc/google-dataproc/startup-scripts/dataproc-initialization-script-0"：error=2，没有这样的文件或目录. 15多个原因是: java.io.IOException: error=2，java.lang.UNIXProcess.forkAndExec上没有这样的文件或目录，java.lang.UNIXProcess.forkAndExec(原生方法)在java.lang.UNIXProcess.(UNIXProcess.java:247)在java.lang.UNIXProcess.forkAndExec at java.lang.ProcessBuilder.start(ProcessBuilder.java:1029) .还有14多个文件或目录由: java.io.IOException: error=2引起，在java.lang.ProcessImpl.start(ProcessImpl.java:134) at java.lang.ProcessBuilder.start(ProcessBuilder.java:1029)的java.lang.UNIXProcess.forkAndExec(原生方法)(UNIXProcess.java:247)上没有这样的文件或目录.又有14种undefinedE AgentRunner启动失败：

1. 主节点VM上的“手动”安装也失败：

​

我设法在单节点集群上启动了Datalab。但我无法在那里开始(Py)火花会议。

我运行了最新的Dataproc映像版本(1.2)，但例如1.1也不起作用。我有免费学分帐户，但我想这不会造成问题。

知道如何更新datalab.sh脚本以使其工作吗？

Answer 1

失败的原因似乎是不够大，磁盘不够大。我把每个节点上的磁盘大小从10 GB切换到50 GB，然后突然起作用了。