spark-提交未找到类- htrace

Question

我正在尝试从命令行使用Spark - HBaseTest而不是run-example来运行spark示例代码，在这种情况下，我可以了解更多如何运行spark代码。

但是，它告诉我关于htrace的CLASS_NOT_FOUND，因为我使用的是CDH5.4。我成功地找到了htrace jar文件，但我很难将其添加到path中。

这是我拥有的最后一个spark-submit命令，但仍然有类找不到错误。有人能帮我吗？

#!/bin/bash
export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark

/bin/bash $SPARK_HOME/bin/spark-submit \
--master yarn-client \
--class org.apache.spark.examples.HBaseTest \
--driver-class-path /etc/hbase/conf:$SPARK_HOME/examples/lib/*.jar:/opt/cloudera/parcels/CDH-5.4.2-1.cdh5.4.2.p0.2/lib/hbase/lib/*.jar \
--jars $SPARK_HOME/examples/lib/*.jar:/opt/cloudera/parcels/CDH-5.4.2-1.cdh5.4.2.p0.2/lib/hbase/lib/*.jar \
$SPARK_HOME/examples/lib/*.jar \
myhbasetablename

注意: htrace-core-3.0.4.jar、htrace-core-3.1.0-incubating.jar、htrace-core.jar都位于'/opt/cloudera/parcels/CDH-5.4.2-1.cdh5.4.2.p0.2/lib/hbase/lib/'.下

Answer 1

我打开$SPARK_HOME/conf/classpath.txt并将/opt/cloudera/parcels/CDH/lib/hbase/lib/htrace-core-3.1.0-incubating.jar添加到文件的末尾。

https://community.cloudera.com/t5/Advanced-Analytics-Apache-Spark/ClassNotFoundException-org-apache-htrace-Trace-exception-in/m-p/29253/highlight/true#M915

Answer 2

这是因为Spark无法找到HBase jars或类。对于Spark-HBase集成，最好的方法是将HBase库添加到Spark类路径中。

这可以使用$SPARK_HOME/bin文件夹中的compute-classpath.sh脚本来完成。

export CLASSPATH=$CLASSPATH:/path/to/HBase/lib/*

eg: export CLASSPATH=$CLASSPATH:/opt/cloudera/parcels/CDH/lib/hbase/lib/*

在此之后，重新启动Spark。

这就对了:)