在木星笔记本中导入spark.implicits._

Question

为了在$"my_column"中使用spark sql结构，我们需要：

import spark.implicits._

然而，这并不能在jupyter笔记本单元中工作:结果是：

Name: Compile Error
Message: <console>:49: error: stable identifier required, but this.$line7$read.spark.implicits found.
       import spark.implicits._
                    ^

我以前见过笔记本，但它们可能是zeppelin.有办法给jupyter买这个吗？

Answer 1

这里有一个可以工作的黑客。

val spark2: SparkSession = spark
import spark2.implicits._

因此，现在spark2的引用显然是“稳定的”。