火花放电/nested元素中的迭代数组

Question

我有input_data作为

[[2022-04-06,test],[2022-04-05,test2]]

input_data的架构是

 |-- source: array(nullable = true)                              
 |    |-- element: struct (containsNull= true)
 |    |    |-- @date: string(nullable = true)
 |    |    |-- user: string (nullable = true)

我将输出视为

+-----------+--------+
| date      | user   |
+-----------|--------+
|2022-04-06 |test    |
|2022-04-05 |test2   |
+--------------------+

我已经从input_data中创建了一个df，并在其上进一步应用了have，我正在考虑爆炸它的结果。

df.select(explode(df.source))

有什么更好的方法来实现输出的火花sql或火花df？

注意，在input_data中我得到的是@date而不是date，所以应用spark也是一个挑战。

Answer 1

使用select内联

df.selectExpr("inline(source)").show()