首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何从列名集合创建列表达式?

问如何从列名集合创建列表达式?
EN

Stack Overflow用户
提问于 2020-01-14 20:05:04
回答 2查看 283关注 0票数 1

我有一个字符串列表,它表示要添加到一起以创建另一列的各个列的名称:

代码语言:javascript
复制
val myCols = List("col1", "col2", "col3")

我希望将列表转换为列,然后将这些列相加在一起,生成最后一列。我已经找了很多方法来做这件事,我能找到的最接近的答案是:

代码语言:javascript
复制
df.withColumn("myNewCol", myCols.foldLeft(lit(0))(col(_) + col(_)))

我得到一个编译错误,它说它在寻找一个字符串,而我真正想要的只是一个列。怎么了?怎么修呢?

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2020-01-14 20:26:13

当我在spark-shell中尝试它时,它给了我一个错误,它准确地说明了错误是什么以及在哪里。

代码语言:javascript
复制
scala> myCols.foldLeft(lit(0))(col(_) + col(_))
<console>:26: error: type mismatch;
 found   : org.apache.spark.sql.Column
 required: String
       myCols.foldLeft(lit(0))(col(_) + col(_))
                                   ^

想想第一对给出的foldLeft函数。它将是类型为lit(0)的Column和String类型的col1。没有接受col函数的Column。

试一试reduce:

代码语言:javascript
复制
myCols.map(col).reduce(_ + _)

来自reduce的正式文档

将二进制运算符应用于此集合的所有元素,从右到左。 在此集合的连续元素之间插入op的结果,从右到左: op(x_1,op(x_2,.,op(x_{n-1},x_n).)) 其中x1、.、xn是此集合的元素。

票数 1
EN

Stack Overflow用户

发布于 2020-01-14 20:34:39

下面是如何根据列表中的列名动态添加列。当所有列都是数字时,结果是一个数字。foldLeft上的第一个变量与返回类型相同。foldLeft的工作原理和减少效果一样多。

代码语言:javascript
复制
    val employees = //a dataframe with 2 numeric columns "salary","exp"
    val initCol = lit(0)
    val cols = Seq("salary","exp")

    val col1 = cols.foldLeft(initCol)((x,y) => x + col(y))

    employees.select(col1).show()
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/59741007

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档