蓝光星火中的HiveContext

Question

在蓝光星火中，我想使用HiveContext

HqlContext = HiveContext(sc)
//some code
 df = HqlContext.read.parquet("swift://notebook.spark/file.parquet")

我得到跟随错误

Py4JJavaError:调用o45.parquet时出错。：java.lang.RuntimeException: java.lang.RuntimeException:无法实例化java.lang.RuntimeException

Answer 1

HiveContext在默认情况下不包括在蓝光星火的供应中。

要将其包含在笔记本中，您应该能够使用%AddJar从可公开访问的服务器加载它，例如：

%AddJar http://my.server.com/jars/spark-hive_2.10-1.5.2.jar

您还可以将其指向Maven的存储库链接：

%AddJar http://repo1.maven.org/maven2/org/apache/spark/spark-hive_2.10/1.5.2/spark-hive_2.10-1.5.2.jar
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)

这可以为我启用蜂巢上下文。

现在，值得注意的是，Maven上的最新可用版本可能与当前运行在Bluemix上的Spark版本不一致，因此我的建议是使用以下方法检查Spark on Bluemix的版本：

sc.version

然后将此JAR的版本与Spark的版本相匹配。