使用Jdk8实现纱线上的火花

Question

我正在hadoop yarn上运行spark作业(hadoop 2.7.0，但也尝试了2.4.0，都是在我的机器上使用apache-hadoop网站和spark 1.3.1下载的)。我的spark作业是用scala编写的，但包含用jdk8编译的类。

当我在jdk8上运行hadoop时，我得到

INFO yarn.Client: 
 client token: N/A
 diagnostics: Shutdown hook called before final status was reported.
 ApplicationMaster host: kostas-pc
 ApplicationMaster RPC port: 0
 queue: default
 start time: 1431513335001
 final status: SUCCEEDED

即使作业被标记为成功，它实际上也没有做任何事情，因为“在报告最终状态之前调用了关闭钩子”。事实上，从我的spark作业中看不到日志记录。

当我将运行hadoop的jdk切换到jdk7时，我的作业开始运行，我可以看到我的scala代码中的日志条目，但是当它到达使用jdk8编译的代码时，它会失败，并出现不兼容的类错误(正如预期的那样)。

所以看起来在jdk8上运行hadoop+spark是不兼容的。对此有什么解决方案吗？

谢谢

Answer 1

似乎spark 1.4.0可以与jdk8配合使用