星火2.4应用程序抛出地板错误

Question

在spark提交的应用程序中，我得到了这个异常(2.4.0)

用户类抛出异常: org.apache.spark.sql.AnalysisException:多个资源为拼花找到org.apache.spark.sql.AnalysisException，请指定完全限定的类名。

我的应用程序是：

val sparkSession = SparkSession.builder()
      .appName(APP_NAME)
      .config("spark.sql.warehouse.dir", warehouseLocation)
      .enableHiveSupport()
      .getOrCreate()
sparkSession.sql(query)

我不知道这块地板的复制源是从哪里来的：

这里是我的火花提交：

火花提交-2.4.0-主纱-集群\-文件=“/etc/hive/hive-site.xml”\ --driver-class-path="/etc/hadoop/:/usr/lib/spark-packages/spark2.4.0/jars/:/usr/lib/spark-packages/spark2.4.0/lib/spark-assembly.jar:/usr/lib/hive/lib/“

有什么建议吗？

Answer 1

我正在使用的spark submit (2.4)版本和指向旧版本的默认SPARK_HOME混为一谈，以防其他人出现同样的问题。