scala把地图附在结构体上？

Question

我有一个模式，并在这个列中调用一个名为referencesTypes的udf。

 |-- referenceTypes: struct (nullable = true)
 |    |-- map: map (nullable = true)
 |    |    |-- key: string
 |    |    |-- value: long (valueContainsNull = true)

udf

val mapfilter = udf[Map[String,Long],Map[String,Long]](map => {
map.keySet.exists(_ != "Family")
val newMap = map.updated("Family",1L)
 newMap
})

现在，在使用了udf之后，我的模式如下所示

|-- referenceTypes: map (nullable = true)
|    |-- key: string
|    |-- value: long (valueContainsNull = false)

我该怎么做才能使referenceType恢复为Struct，映射为子根。换句话说，我如何将它转换回顶部的原始结构，并将其映射到下面的一个层次。底部必须再次看起来像顶部，但是不知道要对udf做什么更改。

尝试过toArray(认为它可以是结构化的)和tomap吗？

基本上需要把[]带回来

实际：Map(Family -> 1)

预期：[Map(Family -> 1)]

Answer 1

您必须添加struct

import org.apache.spark.sql.functions.struct

df.withColumn(
  "referenceTypes",
  struct(mapFilter($"referenceTypes.map").alias("map")))