关于火花远程提交应用程序的混淆

Question

我的情况如下：

我有一个星星团，它在Linux系统上。

但是我在Windows上测试我的应用程序，现在我把它提交到远程星火集群，它不工作，总是打印萤光日志：

 15/08/04 19:33:09 WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://sparkMaster@h1:7077] has failed, address is now gated for [5000] ms. Reason is: [Disassociated].

我的代码：

​

谁知道这个问题？

Answer 1

经过两天的探索，我找到了解决这个问题的方法。

最直接的原因是scala版本不一致，我发现scamk1.4.0依赖于scala2.11.x，所以我需要重新编写火花源来支持scala2.11.x。

遵循以下步骤：

1 => dev/到-2.11.sh

2 => mvn -Pyarn -Phadoop-2.6 -Dscala-2.11 -DskipTests清洁包装

3 =>确保客户端scala版本与服务器scala版本相同