无法在Spark2 Scala中找到Hive表

Question

我的职能如下：

def getMet(spark: SparkSession): DataFrame = {
  val spark = SparkSession.builder().appName("AB Test").enableHiveSupport().getOrCreate()

  val dfMet = spark.sql(s"""SELECT
  10,
  cod_entrep as ID_ENTITE,
  cod_entrep_assu as ID_ENTITE_GARANTE,
  id_notification,
  objet_metier as REF_EXT_OBJET_METIER,
  case when typ_mvt = "S" then 1 else 0 end as TOP_SUPP,
  case when typ_mvt = "S" then dt_capt else null end as DT_SUPP
  FROM dev_lkr_send.pz_send_notification""")
  }

回传

捕获的异常: org.apache.spark.sql.AnalysisException:表或视图未找到: pz_send_notification；第10行pos 0

该表存在于Impala中，并且在上执行相同的步骤，Spark2-shell工作得很好。

有什么帮助吗？

Answer 1

我刚刚找到了解决方案，我必须在执行命令中使用---选项来指示hive-site.xml文件。