首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >groupby类别并对计数求和

问groupby类别并对计数求和
EN

Stack Overflow用户
提问于 2021-02-24 00:54:38
回答 2查看 451关注 0票数 0

假设我有一个表(df),如下所示:

代码语言:javascript
复制
    type count
    A    5000
    B    5000
    C    200
    D    123
    ...  ...
    ...  ...
    Z    453

如何将列count按类型A、B和所有其他类型归入Others类别进行求和?

我目前有这个:

代码语言:javascript
复制
df = df.withColumn('type', when(col("type").isnot("A", "B"))

我的预期输出将如下所示:

代码语言:javascript
复制
type  count
A     5000
B     5000
Other 3043
EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2021-02-24 01:04:31

您希望group by when表达式并对计数求和:

代码语言:javascript
复制
from pyspark.sql import functions as F

df1 = df.groupBy(
    when(
        F.col("type").isin("A", "B"), F.col("type")
    ).otherwise("Others").alias("type")
).agg(
    F.sum("count").alias("count")
)
    
df1.show()

#+------+-----+
#|  type|count|
#+------+-----+
#|     B| 5000|
#|     A| 5000|
#|Others|  776|
#+------+-----+
票数 3
EN

Stack Overflow用户

发布于 2021-02-24 01:14:23

您可以根据类型将数据帧划分为两个部分,为第二部分汇总总和,然后执行unionAll将它们组合在一起。

代码语言:javascript
复制
import pyspark.sql.functions as F

result = df.filter("type in ('A', 'B')").unionAll(
    df.filter("type not in ('A', 'B')")
      .select(F.lit('Other'), F.sum('count'))
)

result.show()
+-----+-----+
| type|count|
+-----+-----+
|    A| 5000|
|    B| 5000|
|Other|  776|
+-----+-----+
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/66337545

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档