将条目hocon转换为数据帧

Question

我有一个以hocon格式输入的“通道”：

param {
  channels = [
    {
      name = "MainPhone"
      id = 1
    }
    {
      name = "OpPhone"
      id = 2
    }
    {
      name = "Fax"
      id = 3
    }
  ]
}

我需要的是将条目channels转换成数据格式，这可能吗？我尝试使用以下代码：

val ch = confParam.getConfigList("param.channels")
case class Provider(id: String, name: String)
val l = ch.map(conf => Provider(conf.getString("id"), conf.getString("name"))).toList
val df = l.toDF()

但我知道错误是：

错误：(28，20)值toDF不是列表提供程序val = list.toDF ()的成员

Answer 1

要在Scala中使用toDF()，需要在代码中导入spark.implicits。这里的spark指的是一个SparkSession对象，例如在火花2.0+中：

val spark = SparkSession.builder().getOrCreate()

然后进行导入：

import spark.implicits._

这将允许您使用诸如toDF、toDS等函数。