导入spark.implicits时发现错误

Question

我使用的是spark 1.4.0

当我尝试使用以下命令导入spark.implicits时：import spark.implicits._，出现以下错误：

<console>:19: error: not found: value spark
   import spark.implicits._
          ^

有人能帮我解决这个问题吗？

Answer 1

这是因为在Spark 2.0中SparkSession是可用的，并且Spark REPL中的spark值是一个SparkSession类型的对象。

在Spark 1.4中使用

import sqlContext.implicits._

在Spark 1.x的Spark REPL中自动创建值sqlContext

Answer 2

要使其完整，首先必须创建一个sqlContext

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.SQLContext

val conf = new SparkConf().setMaster("local").setAppName("my app")
val sc = new SparkContext(conf)
val sqlContext = new SQLContext(sc)
import sqlContext.implicits._