如何在spark-shell (spark 2.1.1)中启用对spark的配置单元支持

Question

我正在尝试在spark-shell中启用对spark对象的Hive支持，但它不起作用。我使用的是Hortonworks HDP。以下是我尝试启用配置单元支持时得到的结果：

scala> val spark3 = SparkSession.builder.enableHiveSupport.getOrCreate
17/10/24 21:30:28 WARN SparkSession$Builder: Using an existing SparkSession; some configuration may not take effect.
spark3: org.apache.spark.sql.SparkSession = org.apache.spark.sql.SparkSession@22f8be7c

scala> spark3.catalog
res3: org.apache.spark.sql.catalog.Catalog = org.apache.spark.sql.internal.CatalogImpl@49c13ecd

Answer 1

在HDP中，spark-shell已经创建了一个具有配置单元支持的有效SparkSession。

您收到警告，说getOrCreate使用了现有的会话

你可以试试

spark.sql("show tables").show()

此外，您使用的是spark而不是spark3，因此除了该对象的toString信息之外，不清楚spark.catalog还会向您显示哪些信息