如何将星火与HiveContext结合使用

Question

我刚开始使用spark.I中的HiveContext来访问窗口functions.But。

import org.apache.spark.sql.hive.HiveContext

我得到以下错误：

错误:对象单元不是包org.apache.spark.sql的成员

我发现了需要在build.sbt文件中包含以下依赖项的解决方案。

libraryDependencies += "org.apache.spark" %% "spark-hive" % "1.5.2

但我不知道，我应该在哪里找到这个build.sbt文件，

/home/cloudera/spark-1.5.2/build/sbt

(或)

/home/cloudera/spark-1.5.2/sbt/sbt

(或)

/home/cloudera/spark-1.5.2/project/plugins.sbt

请帮助我在build.sbt文件中添加依赖项。

Answer 1

要用Hive支持构建Spark，不需要对构建定义进行任何更改。只要确保激活所需的配置文件即可。

• Maven mvn -Phive -Phive-thriftserver -DskipTests .清洁包装
• SBT 建立/sbt -Phive -Phive-thriftserver .组件

只有在构建自己的项目时，才需要将spark-hive添加为依赖项。

另外，请不要认为预置(spark-[SPARK-VERSION]-bin-hadoop[HADOOP-VERSION].tgz文件)二进制文件可以从火花下载页面已经建立了蜂巢支持。