ibm提交

Question

我是布卢米克斯的新手。我已经创建了，我尝试通过submit提交一个简单的hello-world jar。(我使用这个链接来休闲：https://console.ng.bluemix.net/docs/services/AnalyticsforApacheSpark/index-gentopic3.html#genTopProcId4

在提交jar之后，日志文件说：

提交职务结果：{“操作”："CreateSubmissionResponse"， “消息”：“驱动程序作为驱动程序成功提交-20170602xxxxxxxxxxxxxx”，"serverSparkVersion“："2.0.2"， "submissionId“：”驱动程序-20170602xxxxxxxxx“，”成功“：true } 提交ID:驱动程序-20170602作业提交:驱动程序-驱动程序-20170602 20170602xxxxxxxxxxx轮询作业状态。投票#1.获取状态====失败状态输出=====================================================错误:作业失败。火花提交日志文件: stdout_1496403637550663675 _1496403637550663675日志视图作业的stdout日志位于stderr_1496403637550663675视图作业的stderr日志

这个案子可能有什么问题？

此外，我看到人们谈论笔记本和木星访问/运行火花工作。但我看不到我的仪表板上有笔记本电脑/Jupiter选项。

感谢您的投入。

stdout上的curl (https://spark.eu-gb.bluemix.net/tenant/data/workdir/driver-20170614074046xxxxxxxxx277e6a/stdout)是：“没有额外的配置定义”

但我在stderr上发现了以下错误消息：

log4j:ERROR找不到键log4j.appender.FILE log4j的值:ERROR无法实例化名为"FILE“的附录。错误:非正常异常: /gpfs/fs01/user/sd74-836f4292ca6442xxxxxxxx/data/e717e66fe44f5a1ea7eec81cbd/hellospark_2.11-1.0.jar : sun.nio.fs.UnixException.translateToIOException(UnixException.java:98) at sun.nio.fs.UnixException.translateToIOException(UnixException.java:98) at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:114) at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:119) at sun.nio.fs.UnixCopyFilesun.nio.fs.UnixFileSystemProvider.copy(UnixFileSystemProvider.java:265) at java.nio.file.Files.copy(Files.java:1285)在org.apache.spark.util.Utils$.org$apache$spark$util$Utils$$copyRecursive(Utils.scala:629) at org.apache.spark.util.Utils$.copyFile(Utils.scala:600) at org.apache.spark.util.Utils$.doFetchFile(Utils.scala:685)在org.apache.spark.util.Utils$.fetchFile(Utils.scala:484) at org.apache.spark.deploy.ego.EGOClusterDriverWrapper$$anonfun$startUserClass$2.apply(EGOClusterDriverWrapper.scala:411) at org.apache.spark.deploy.ego.EGOClusterDriverWrapper$$anonfun$startUserClass$2.apply(EGOClusterDriverWrapper.scala:404) at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33) at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:186) at org。apache.spark.deploy.ego.EGOClusterDriverWrapper.startUserClass(EGOClusterDriverWrapper.scala:404) at org.apache.spark.deploy.ego.EGOClusterDriverWrapper.runDriver(EGOClusterDriverWrapper.scala:295) at org.apache.spark.deploy.ego.EGOClusterDriverWrapper.run(EGOClusterDriverWrapper.scala:218) at org.apache.spark.deploy.ego.EGOClusterDriverWrapper$$anonfun$receive$1$$anon$1.run(EGOClusterDriverWrapper.scala:144)

Answer 1

看起来您已经粘贴了火花提交脚本的输出，而不是日志文件的内容？

您可以使用以下方法访问日志文件：

curl \
   -X GET \
   -u <tenant_id>:<tenant_secret> \
   -H 'X-Spark-service-instance-id: <instance_id>' \
   https://169.54.219.20/tenant/data/workdir/<submission-id>/stdout

如果需要更多帮助，我建议在日志文件中使用错误消息打开一个新问题。

关于你问题的第二部分，火花的笔记本可以通过数据科学的经验获得。您可以在这里注册数据科学经验：https://datascience.ibm.com

Answer 2

我也面临过这个错误，问题是我没有为火花提交中的罐子提供一条路径。因此，当它上传jar时，日志中出现了如下错误：

local2server结果：{"content_error":"HTTP为空“}

在星火提交中添加一个jar路径有助于解决我的问题，尝试如下所示：

./target/scala-2.10/hellospark_2.10-1.0.jar