将jars添加到Spark作业- spark-submit

Question

以下是我开始spark工作的脚本

#!/bin/bash
APP_DIR="/home/arvind/myApp"
JARS=$(echo $APP_DIR/lib/* | tr ' ' ',')
/home/arvind/spark3/bin/spark-submit \
  --master spark://server4:7078 \
  --verbose \
  --jars $JARS \
  --driver-class-path $APP_DIR/conf \
  --class com.test.spark.MySparkApplication \
  --conf spark.driver.extraJavaOptions="-XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+HeapDumpOnOutOfMemoryError -Dlog4j.configuration=file:$APP_DIR/conf/log4j.properties" \
  --conf spark.driver.memory="32g" \
  --conf spark.cores.max="20" \
 $APP_DIR/myApp.jar > $APP_DIR/logs/output.err 2> $APP_DIR/logs/output.txt &

lib文件夹包含与应用程序打包的所有jar文件，包括postgres依赖项

[arvind@server4 myApp]$ ls lib/postgresql-42.1.4.jar
lib/postgresql-42.1.4.jar

当我使用上面的脚本在spark3集群上运行应用程序时，我得到了以下异常

265 Caused by: java.lang.ClassNotFoundException: org.postgresql.ds.PGSimpleDataSource
266         at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
267         at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
268         at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
269         at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
270         at com.zaxxer.hikari.util.UtilityElf.createInstance(UtilityElf.java:77)
271         ... 25 more

但是，如果我修改上面的脚本，将其提交给一个spark2.4.0集群，它会工作得很好。

你能帮我弄一下这个吗？

Answer 1

如果您像这样将jar添加到--driver-class-path中，那么它应该可以工作：

#!/bin/bash
APP_DIR="/home/arvind/myApp"
JARS=$(echo $APP_DIR/lib/* | tr ' ' ',')
COLON_SEP_JARS=$(echo $APP_DIR/lib/* | tr ' ' ':')
/home/arvind/spark3/bin/spark-submit \
  --master spark://server4:7078 \
  --verbose \
  --jars $JARS \
  --driver-class-path $APP_DIR/conf:$COLON_SEP_JARS \
  --class com.test.spark.MySparkApplication \
  --conf spark.driver.extraJavaOptions="-XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+HeapDumpOnOutOfMemoryError -Dlog4j.configuration=file:$APP_DIR/conf/log4j.properties" \
  --conf spark.driver.memory="32g" \
  --conf spark.cores.max="20" \
 $APP_DIR/myApp.jar > $APP_DIR/logs/output.err 2> $APP_DIR/logs/output.txt &