首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Pyspark:从特定值开始自动递增

问Pyspark:从特定值开始自动递增
EN

Stack Overflow用户
提问于 2020-10-05 19:56:42
回答 2查看 428关注 0票数 1

我需要在我的dataframe中添加一个从500开始递增1的列。所以第一行应该是500,第二行是501等等。使用UDF没有意义,因为它可以在不同的工作进程上执行,并且我不知道任何函数会将起始值作为参数。我也没有任何东西可以对我的数据帧进行排序。默认情况下,行号和自动递增都从1开始。我相信我可以做到这一点,但是将我的df转换为rdd再转换回df似乎是一个相当丑陋的解决方案。你知道有什么现有的函数可以帮助我在数据帧级别上解决问题吗?

谢谢!

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2020-10-06 00:52:52

因为monotonically_increasing_id()不是连续的,所以可以在monotonically_increasing_id()上使用row_num()并加上499。

代码语言:javascript
复制
from pyspark.sql.window import Window

df = df.withColumn("idx", monotonically_increasing_id())
w = Window().orderBy("idx")
df.withColumn("row_num", (499 + row_number().over(w))).show()
票数 1
EN

Stack Overflow用户

发布于 2020-10-05 20:01:48

我认为您可以使用从0开始的monotonically_increasing_id function,但您可以从自定义偏移量开始,为每个偏移量添加一个常量值:

代码语言:javascript
复制
offset = start_offset + monotonically_increasing_id()
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/64208161

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档