在pySpark数据帧上聚合的多个条件

Question

我有一个看起来像这样的pySpark数据帧：

+-------------+----------+
|          sku|      date|
+-------------+----------+
|MLA-603526656|02/09/2016|
|MLA-603526656|01/09/2016|
|MLA-604172009|02/10/2016|
|MLA-605470584|02/09/2016|
|MLA-605502281|02/10/2016|
|MLA-605502281|02/09/2016|
+-------------+----------+

我想按sku分组，然后计算最小日期和最大日期。如果我这样做：

df_testing.groupBy('sku') \
    .agg({'date': 'min', 'date':'max'}) \
    .limit(10) \
    .show()

其行为与Pandas相同，在Pandas中，我只获取sku和max(date)列。在Pandas中，我通常会执行以下操作来获得我想要的结果：

df_testing.groupBy('sku') \
    .agg({'day': ['min','max']}) \
    .limit(10) \
    .show()

然而，这在pySpark上不起作用，并且我得到了一个java.util.ArrayList cannot be cast to java.lang.String错误。谁能告诉我正确的语法是什么？

谢谢。

Answer 1

您不能使用dict。使用：

>>> from pyspark.sql import functions as F
>>>
>>> df_testing.groupBy('sku').agg(F.min('date'), F.max('date'))