如果是某个字符串Spark Scala，则更改列值

Question

我正在尝试创建一个UDF函数来替换DF中的一些值。我有以下DF：

df1
+-------------+
| Periodicity |
+-------------+
|  Monthly    |
|  Daily      |
|  Annual     |
+-------------+

因此，如果我在这个DF中找到“年度”，我想将其更改为"EveryYear“，如果我找到"Daily”，则将其更改为"EveryDay“。这就是我正在尝试的：

val modifyColumn = () => if (df1.col("Periodicity").equals("Annual")) "EveryYear"
val modifyColumnUDF = udf(modifyColumn)

val result = df1.withColumn("Periodicity", modifyColumnUDF(df1.col("Periodicity")))

但却给了我一个EvaluateException。我做错了什么？

Answer 1

您可以使用以下方法之一：

// First approach 
    dataFrame
      .withColumn("Periodicity",
        when(col("Periodicity") === "Annual", "EveryYear").otherwise(
          when(col("Periodicity") === "Monthly", "EveryMonth").otherwise(
            when(col("Periodicity") === "Daily", "EveryDay"))))
    
// Second approach 
    val permutations = Map("Annual" -> "EveryYear", "Monthly" -> "EveryMonth", "Daily" -> "EveryDay")
    val medianUDF = udf[String, String]((origValue: String) => permutations(origValue))
    dataFrame.withColumn("Periodicity", medianUDF(col("Periodicity")))

如果您有许多排列和/或希望对其进行动态配置，可以使用第二种方法。