收集数据火花

Question

我写了这个：

df.select(col("colname")).distinct().collect.map(_.toString()).toList

结果是

List("[2019-06-24]", "[2019-06-22]", "[2019-06-23]")

而我想要：

List("2019-06-24", "2019-06-22", "2019-06-23")

请给我换一下。

Answer 1

您需要将.map(_.toString())更改为.map(_.getAs[String]("colname"))。

使用.map(_.toString())，您将调用org.apache.spark.sql.Row.toString，这就是输出类似于List("[2019-06-24]", "[2019-06-22]", "[2019-06-23]")的原因。

正确的方法是：

val list = df.select("colname").distinct().collect().map(_.getAs[String]("colname")).toList

产出将是：

List("2019-06-24", "2019-06-22", "2019-06-23")

Answer 2

样本数据：

val df=sc.parallelize(Seq(("2019-06-24"),( "2019-06-22"),("2019-06-23"))).toDF("cn")

现在，选择列map，然后应用获取，首先是索引值，然后是，添加引号，，然后转换为string。

df.select("cn").collect().map(x => x(0)).map(x => s""""$x"""".toString)
//res36: Array[String] = Array("2019-06-24", "2019-06-22", "2019-06-23")

(或)

df.select("cn").collect().map(x => x(0)).map(x => s""""$x"""".toString).toList
//res37: List[String] = List("2019-06-24", "2019-06-22", "2019-06-23")