Performance groupBy

Question

我有一个类似下面的代码：

df = transformation(df)
df = df.groupBy("f1").agg(agg1, agg2, agg3)
df.collect()

聚合函数不包含任何窗口(我们可以假设它们是三个不同字段的F.sum)。如果没有持久化，是否存在方法transformation中的操作多次执行的情况？

Answer 1

您可以使用链接并进行groupby操作：

1. https://spark.apache.org/docs/2.1.0/api/python/pyspark.sql.html