Python -> Py4j ->星火-> Cassandra

Question

我想在一个只有四行的测试Cassandra表上测试一个简单的星火行计数作业，以验证一切是否正常。

我可以通过Java快速地完成这个任务：

    JavaSparkContext sc = new JavaSparkContext(conf);
    SparkContextJavaFunctions sparkContextJavaFunctions = CassandraJavaUtil.javaFunctions(sc);
    CassandraJavaRDD<CassandraRow> table = sparkContextJavaFunctions.cassandraTable("demo", "playlists");
    long count = table.count();

现在，我想在Python中实现同样的功能。Spark发行版附带了一组未打包的PySpark源代码，用于使用Python中的Spark。它使用一个名为py4j的库来启动Java服务器，并通过TCP网关封送java命令。我直接用那个网关让它正常工作。

我通过--驱动程序类路径选项为Java SparkSubmit主机指定了以下额外的jars：

spark-cassandra-connector-java_2.11-1.2.0-rc1.jar
spark-cassandra-connector_2.11-1.2.0-rc1.jar
cassandra-thrift-2.1.3.jar
cassandra-clientutil-2.1.3.jar
cassandra-driver-core-2.1.5.jar
libthrift-0.9.2.jar
joda-convert-1.2.jar
joda-time-2.3.jar

下面是执行行计数测试的核心Python代码：

from pyspark.java_gateway import launch_gateway
jvm_gateway = launch_gateway()
sc = jvm_gateway.jvm.org.apache.spark.api.java.JavaSparkContext(conf)
spark_cass_functions = jvm_gateway.jvm.com.datastax.spark.connector.japi.CassandraJavaUtil.javaFunctions(sc)
table = spark_cass_functions.cassandraTable("demo", "playlists");

在最后一行中，我得到以下错误：

py4j.protocol.Py4JJavaError: An error occurred while calling o5.cassandraTable.
: com.datastax.spark.connector.util.ConfigCheck$ConnectorConfigurationException: Invalid Config Variables
Only known spark.cassandra.* variables are allowed when using the Spark Cassandra Connector.
spark.cassandra.connection.conf.factory is not a valid Spark Cassandra Connector variable.
No likely matches found.
spark.cassandra.auth.conf.factory is not a valid Spark Cassandra Connector variable.
No likely matches found.
    at com.datastax.spark.connector.util.ConfigCheck$.checkConfig(ConfigCheck.scala:38)
    at com.datastax.spark.connector.rdd.CassandraRDD.<init>(CassandraRDD.scala:18)
    at com.datastax.spark.connector.rdd.CassandraTableScanRDD.<init>(CassandraTableScanRDD.scala:59)
    at com.datastax.spark.connector.rdd.CassandraTableScanRDD$.apply(CassandraTableScanRDD.scala:182)
    at com.datastax.spark.connector.japi.SparkContextJavaFunctions.cassandraTable(SparkContextJavaFunctions.java:88)
    at com.datastax.spark.connector.japi.SparkContextJavaFunctions.cassandraTable(SparkContextJavaFunctions.java:68)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:497)
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:231)
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:379)
    at py4j.Gateway.invoke(Gateway.java:259)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:207)
    at java.lang.Thread.run(Thread.java:745)

显然，存在一些配置或设置问题。我不知道如何合理地调试或调查，或者我可以尝试什么。有更多卡桑德拉/Python/火花专家的人能提供一些建议吗？谢谢!

编辑:同事设置了一个火花-defaults.conf文件，这个文件就是这个文件的根目录。我不完全理解为什么这会导致Python而不是Java的问题，但这并不重要。我不想那个conf文件被问题解决掉。

Answer 1

在1.2.0-rc1和1.2.0-rc2的中，这是一个已知的bug，它将在rc3中修复。

相关票

• https://datastax-oss.atlassian.net/browse/SPARKC-102
• https://datastax-oss.atlassian.net/browse/SPARKC-105
• https://datastax-oss.atlassian.net/browse/SPARKC-108

Answer 2

你总是可以试一试卡桑德拉。它是针对1.2.0-rc3构建的，在火花放电中使用Cassandra可能要容易得多。