与hivecontext的Spark会话

Question

我尝试将Sparksession与配置单元表一起使用。

我使用了以下代码：

val spark= SparkSession.builder().appName("spark").master("local").enableHiveSupport().getOrCreate()  

spark.sql("select * from data").show()

显示未找到表，但该表存在于配置单元中。请帮我弄一下这个。

Answer 1

spark.sql("select * from databasename.data").show() -将工作

Answer 2

您好，您需要提供仓库的路径，如：

// warehouseLocation points to the default location for managed databases and tables
val warehouseLocation = new File("spark-warehouse").getAbsolutePath

val spark = SparkSession
  .builder()
  .appName("Spark Hive Example")
  .config("spark.sql.warehouse.dir", warehouseLocation)
  .enableHiveSupport()
  .getOrCreate()

有关更多信息，您可以在此处查看：Hive Tables with Spark