如何爆破空分柱？

Question

我在Scala中有一个示例数据格式，其中包含一个列和许多其他列( 50+ )，需要爆炸id：

示例数据：

id             name   address
234 435 567    auh    aus
345 123        muji   uk

产出数据：

id             name   address
234            auh    aus
435            auh    aus
567            auh    aus
345            muji   uk
123            muji   uk

Answer 1

试试这个：

import org.apache.spark.sql.functions._

scala> df.withColumn("id", explode(split($"id", " "))).show
+---+----+-------+
| id|name|address|
+---+----+-------+
|234| auh|    aus|
|435| auh|    aus|
|567| auh|    aus|
|345|muji|     uk|
|123|muji|     uk|
+---+----+-------+