首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何用PySpark中某列的第一个非空值填充该列的空值

问如何用PySpark中某列的第一个非空值填充该列的空值
EN

Stack Overflow用户
提问于 2021-03-16 20:04:48
回答 1查看 80关注 0票数 0

我正在尝试用数据帧中某列的第一个不为空的值填充该列的空值。

我想要填充的数据帧如下所示,我希望'id_book‘列的所有行都具有相同的编号

​

​

我尝试了以下方法,但仍然显示空值

代码语言:javascript
复制
w = Window.partitionBy('id_book').orderBy('id_book', 'date').rowsBetween(0,sys.maxsize)
filled_column = first(spark_df['id_book'], ignorenulls=True).over(w)
spark_df_filled = union_dias.withColumn('id_book_filled_spark', filled_column)
EN

回答 1

Stack Overflow用户

发布于 2021-03-16 20:09:37

该窗口应为

代码语言:javascript
复制
w = Window.orderBy('date').rowsBetween(0, Window.unboundedFollowing)
filled_column = first(spark_df['id_book'], ignorenulls=True).over(w)
spark_df_filled = spark_df.withColumn('id_book_filled_spark', filled_column)

因为您不希望按id_book进行分区。按id_book排序也没有意义,因为只有日期的顺序才重要。

此外,我认为更好的做法是使用Window.unboundedFollowing而不是sys.maxsize。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/66654889

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档