DSE Cassandra Spark错误

Question

我花了一整天的时间试图找出解决这个问题的方法，但没有成功。

每次我的java应用程序尝试连接到我的DSE Spark master时，它都会抛出一个错误：

Association with remote system [akka.tcp://sparkMaster@192.168.2.104:7077] has failed, address is now gated for [5000] ms. Reason is: [Disassociated].

拖尾cassandra日志，我可以看到类版本中的不兼容性：

ERROR [sparkMaster-akka.actor.default-dispatcher-2] 2015-06-09 16:39:12,066  
Slf4jLogger.scala:66 - org.apache.spark.deploy.ApplicationDescription; local 
class incompatible: stream classdesc serialVersionUID = 7674242335164700840, 
local
class serialVersionUID = 2812534333379744973
java.io.InvalidClassException: 
org.apache.spark.deploy.ApplicationDescription; local class incompatible: 
stream classdesc serialVersionUID = 7674242335164700840, local class 
serialVersionUID = 2812534333379744973

你知道为什么会发生这种事吗？

这是一个版本不匹配，但这并不清楚该如何解决它。

我正在运行DSE 4.7，我的POM文件如下所示：

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.10</artifactId>
    <version>1.2.1</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.10</artifactId>
    <version>1.2.1</version>
</dependency>
<dependency>
    <groupId>com.datastax.spark</groupId>
    <artifactId>spark-cassandra-connector-java_2.10</artifactId>
    <version>1.2.1</version>
</dependency>

<dependency>
    <groupId>com.datastax</groupId>
    <artifactId>dse</artifactId>
    <version>version number</version>
    <scope>system</scope>
    <systemPath>${project.basedir}/lib/dse-4.7.0.jar</systemPath>
</dependency>

问题是哪个版本的cassandra连接器适用于DSE 4.7？

Answer 1

版本不匹配。DSE 4.7附带Spark 1.2.1，但您是在针对1.1.1构建jar。