在Jboss上托管spark作业并尝试连接到master时，为单向消息调用RpcHandler #receive()时出错

Question

在Jboss服务器上部署时，我无法连接到master上的spark

我有一个应用程序设计使用Java和火花API的数据加载到甲骨文数据库。我已经在Jboss上部署了这个应用程序，这在我的本地主spark会话上工作得很好，但是当我试图将我的spark.master更改为集群模式并从我的本地点击url时，它没有连接到主服务器。我总是看到-加载成员文件时出现错误: java.net.BindException:无法分配请求的地址:服务'sparkDriver‘在16次重试后失败(在随机空闲端口上)！考虑将服务'sparkDriver‘的适当绑定地址(例如，SparkDriver的spark.driver.bindAddress )显式设置为客户端(本地)上的正确绑定地址，并在调用RpcHandler时出现错误TransportRequestHandler: ERROR

用于单向消息的receive()。

java.io.InvalidClassException: org.apache.spark.rpc.netty.NettyRpcEndpointRef；l本地类不兼容:java.io.InvalidClassException类serialVersionUID = 6257082371135760434 -主机上出现此错误。我在本地和主机上都有相同的版本(pom.xml中的spark 2.4.2 &Hadoop2.7、Scala2.12.8和sparkcore.2.8.0 )。当我试图找出这个错误时，我才知道有一个版本不匹配，但我没有。有人能帮帮忙吗？

创建sparksession -

sparkSession = new SparkSession.Builder().master("spark://ip.addresss:7077").config("spark.submit.deployMode","cluster").appName("Java JDBC Spark").config("spark.driver.bindAddress","ip.addresss").getOrCreate();

Answer 1

这是因为您用来创建spark会话的spark配置文件。在我的例子中，当我纠正同样的错误时，它起作用了。