火花流与卡夫卡集成

Question

我是Apache的新手，我一直在做一个与twitter数据的情感分析相关的项目，其中包括星火流和kafka集成。我一直在遵循github代码(下面提供的链接)

但是，在最后一个阶段，即卡夫卡与Apache的集成过程中，出现了以下错误

py4j.protocol.Py4JError: An error occurred while calling o24.createDirectStreamWithoutMessageHandler. Trace:
py4j.Py4JException: Method createDirectStreamWithoutMessageHandler([class org.apache.spark.streaming.api.java.JavaStreamingContext, class java.util.HashMap, class java.util.HashSet, class java.util.HashMap]) does not exist
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318)
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326)
    at py4j.Gateway.invoke(Gateway.java:272)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:214)
    at java.lang.Thread.run(Thread.java:745)

使用的命令：bin/spark-submit --packages org.apache.spark:spark-streaming-kafka_2.10:1.5.1 twitterStream.py

Apache火花版本: Spark 2.1.0-bin-hadoop2.4

卡夫卡版本: kafka_2.11-0.10.1.1

我还没有能够调试这个，任何帮助都将是非常感谢的。

Answer 1

您试图运行的示例被设计为在Spark1.5中运行。您应该下载Spark1.5或者从Spark2.1.0运行spark-submit，但是使用与2.1.0相关的kafka包，例如：./bin/spark-submit --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.1.0。