带有Vegas的Jupyter Notebook (Scala，kernel - Apache Toree)，Graph不显示数据

Question

我使用的是Jupyter (内核- Apache Torre) for Analytics，使用Apache Spark/Scala。为了可视化，我尝试使用use Vegas (github - https://github.com/vegas-viz/Vegas)

当我使用示例维加斯代码时-没有使用维加斯Spark扩展，它工作得很好(请看附件的截图)

然而，对于DataFrames，它似乎没有显示图形。(即图形未显示数据)

这是代码-

%AddDeps org.vegas-viz vegas_2.11 0.3.11 --transitive

%AddDeps org.vegas-viz vegas-spark_2.11 0.3.11

import vegas._
import vegas.render.WindowRenderer._
import vegas.data.External._
import vegas.sparkExt._

val seq = Seq(("a", 16), ("b", 77), ("c", 45), ("d",101),("e", 132),("f", 166),("g", 51))
val df = seq.toDF("id", "value")

df.show()

+---+-----+
| id|value|
+---+-----+
|  a|   16|
|  b|   77|
|  c|   45|
|  d|  101|
|  e|  132|
|  f|  166|
|  g|   51|
+---+-----+

val usingSparkdf = Vegas("UsingSpark")
  .withDataFrame(df1)
  .encodeX("id")
  .encodeY("value")
  .mark(Bar)

usingSparkdf.show

​

​

​

​

我在这里做错了什么？

这是包含Scala扩展的正确方式吗？

 %AddDeps org.vegas-viz vegas-spark_2.11 0.3.11

Answer 1

我能够解决这个问题，encodeX，encodeY应该有指定的(统计)数字类型，即Quant，Nom或Ord，以及列名。

下面的代码运行良好。

 val usingSparkdf = Vegas("UsingSpark")
      .withDataFrame(df1)
      .encodeX("id", Nom)
      .encodeY("value", Quant)
      .mark(Bar)

usingSparkdf.show

Answer 2

package al.da.vg

object vegas_spark extends App {

  val conf = new SparkConf().setAppName("Vegas_Spark").setMaster("local[*]")
  val sc = new SparkContext(conf)
  val spark = SparkSession.builder().config(conf).appName("Vegas_Spark").getOrCreate()
  val sqlContext = new SQLContext(sc)
  import sqlContext.implicits._

  spark.sparkContext.setLogLevel("WARN")


  val seq1 = Seq(
    Map("a" -> "A", "b" -> 28), Map("a" -> "B", "b" -> 55), Map("a" -> "C", "b" -> 43),
    Map("a" -> "D", "b" -> 91), Map("a" -> "E", "b" -> 81), Map("a" -> "F", "b" -> 53),
    Map("a" -> "G", "b" -> 19), Map("a" -> "H", "b" -> 87), Map("a" -> "I", "b" -> 52))

  val df1 = seq1.toDF("a", "b")

  df1.show()

val usingSparkdf1 = Vegas("Vegas_Spark")
  .withDataFrame(df1)
  .encodeX("a", Ordinal)
  .encodeY("b", Quantitative)
  .mark(Bar)
  .show

}