首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何添加一个顺序递增的列来激发从n (PySpark)开始的数据帧?

问如何添加一个顺序递增的列来激发从n (PySpark)开始的数据帧?
EN

Stack Overflow用户
提问于 2020-03-04 02:28:31
回答 1查看 1.7K关注 0票数 1

我有一个dataframe值,如

代码语言:javascript
复制
 -------------
| col1 | col2 |       
 -------------
| a    |   2  |
| b    |   3  |
| c    |   4  |
| d    |   5  |
 -------------

我希望创建第三列,该列具有从指定数字开始的自动递增值。

假设我希望数字从5开始,那么预期的输出应该是

代码语言:javascript
复制
 --------------------
| col1 | col2 | col3 | 
|--------------------|
| a    |   2  | 5    |
| b    |   3  | 6    |
| c    |   4  | 7    |
| d    |   5  | 8    |
 --------------------

我尝试过monotonically_increasing_id(),但由于分区而没有给出序列号,而且它也没有从指定的编号开始的特性。

我正在使用Spark2.4.5和Pyspark (python)。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-03-04 02:41:43

我们可以使用窗口函数row_number和orderby()(用于全局排序)子句,并添加4从5开始序列

火花放电中的

:

Using row_number():

代码语言:javascript
复制
from pyspark.sql.window import Window
from pyspark.sql.functions import *

df=spark.createDataFrame([('a',2),('b',3),('c',4),('d',5)],['col1','col2']).repartition(4)
w=Window.orderBy('col2')
df.withColumn("col3",row_number().over(w) + 4).show()
#+----+----+----+
#|col1|col2|col3|
#+----+----+----+
#|   a|   2|   5|
#|   b|   3|   6|
#|   c|   4|   7|
#|   d|   5|   8|
#+----+----+----+

In Scala:

代码语言:javascript
复制
val w = Window.orderBy("col2")
df.withColumn("col3", row_number().over(w) + 4).show()

//+----+----+----+
//|col1|col2|col3|
//+----+----+----+
//|   a|   2|   5|
//|   b|   3|   6|
//|   c|   4|   7|
//|   d|   5|   8|
//+----+----+----+
票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/60518253

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档