火花流- CheckPointing问题

Question

我已经使用twitter的流媒体用户api和火花流做了twitter流流。这在我的本地机器上成功运行。但是当我以本地模式在集群上运行这个程序时。这是第一次成功运行。稍后，它会给出以下异常。

"Exception in thread "main" org.apache.spark.SparkException: Found both spark.executor.extraClassPath and SPARK_CLASSPATH. Use only the former."

而火花类路径已经设置好了！！每次我必须创建一个新的检查点目录才能使它成功运行。否则，它将显示在上面的异常。

有人能帮我解决这个问题吗？谢谢:)

Answer 1

试着使用

#!/bin/bash
HBASE_HOME=/opt/cloudera/parcels/CDH/lib/hbase
SPARK_CLASSPATH="$HBASE_HOME/conf/:$HBASE_HOME/hbase-client.jar:$HBASE_HOME/hbase-protocol.jar:$HBASE_HOME/lib/htrace-core.jar:$HBASE_HOME/lib/htrace-core-3.1.0-incubating.jar"
spark-submit --num-executors 2 --executor-cores 2 --executor-memory 10G  --conf spark.executor.extraClassPath=$SPARK_CLASSPATH your_spark_program.jar --class your_entry_class

最重要的是--conf spark.executor.extraClassPath=$SPARK_CLASSPATH