我正在尝试用数据帧中某列的第一个不为空的值填充该列的空值。
我想要填充的数据帧如下所示,我希望'id_book‘列的所有行都具有相同的编号

我尝试了以下方法,但仍然显示空值
w = Window.partitionBy('id_book').orderBy('id_book', 'date').rowsBetween(0,sys.maxsize)
filled_column = first(spark_df['id_book'], ignorenulls=True).over(w)
spark_df_filled = union_dias.withColumn('id_book_filled_spark', filled_column)发布于 2021-03-16 20:09:37
该窗口应为
w = Window.orderBy('date').rowsBetween(0, Window.unboundedFollowing)
filled_column = first(spark_df['id_book'], ignorenulls=True).over(w)
spark_df_filled = spark_df.withColumn('id_book_filled_spark', filled_column)因为您不希望按id_book进行分区。按id_book排序也没有意义,因为只有日期的顺序才重要。
此外,我认为更好的做法是使用Window.unboundedFollowing而不是sys.maxsize。
https://stackoverflow.com/questions/66654889
复制相似问题