我需要在我的dataframe中添加一个从500开始递增1的列。所以第一行应该是500,第二行是501等等。使用UDF没有意义,因为它可以在不同的工作进程上执行,并且我不知道任何函数会将起始值作为参数。我也没有任何东西可以对我的数据帧进行排序。默认情况下,行号和自动递增都从1开始。我相信我可以做到这一点,但是将我的df转换为rdd再转换回df似乎是一个相当丑陋的解决方案。你知道有什么现有的函数可以帮助我在数据帧级别上解决问题吗?
谢谢!
发布于 2020-10-06 00:52:52
因为monotonically_increasing_id()不是连续的,所以可以在monotonically_increasing_id()上使用row_num()并加上499。
from pyspark.sql.window import Window
df = df.withColumn("idx", monotonically_increasing_id())
w = Window().orderBy("idx")
df.withColumn("row_num", (499 + row_number().over(w))).show()发布于 2020-10-05 20:01:48
我认为您可以使用从0开始的monotonically_increasing_id function,但您可以从自定义偏移量开始,为每个偏移量添加一个常量值:
offset = start_offset + monotonically_increasing_id()https://stackoverflow.com/questions/64208161
复制相似问题