PySpark滑动窗口计算

Question

我有一个PySpark数据帧，我想在其上运行滑动窗口计算。下面是我想要运行的操作的示例代码(显示为pandas dataframe)：

df["Total"].shift(1).rolling(7, min_periods = 7).avg()

有人能告诉我如何在PySpark中复制这个操作吗？

Answer 1

检查此示例- How to use window functions in PySpark?

有关窗口函数的详细信息- https://databricks.com/blog/2015/07/15/introducing-window-functions-in-spark-sql.html

和文档- http://spark.apache.org/docs/2.1.0/api/python/pyspark.sql.html