从Pandas groupBy到PySpark groupBy

Question

考虑一下星火DataFrame，在这里我们有很少的列。目标是对其执行groupBy操作，而不将其转换为Pandas DataFrame。等价的Pandas groupBy代码如下所示：

def compute_metrics(x):
    return pd.Series({
        'a': x['a'].values[0],
        'new_b': np.sum(x['b']),
        'c': np.mean(x['c']),
        'cnt': len(x)
    })

data.groupby([
    'col_1',
    'col_2'
]).apply(compute_metrics).reset_index()

我打算用PySpark来写这个。到目前为止，我在PySpark上已经想出了类似的东西

gdf = df.groupBy([
    'col_1',
    'col_2'
]).agg({
    'c': 'avg',
    'b': 'sum'
}).withColumnRenamed('sum(b)', 'new_b')

但是，我不知道如何进行'a': x['a'].values[0]和'cnt': len(x)。我曾想过使用来自from pyspark.sql import functions的from pyspark.sql import functions，但这让我对Column object is not Callable印象深刻。知道如何完成上述转换吗？谢谢!

更新在任何列上执行count操作以获得cnt是否有意义？说我这么做：

gdf = df.groupBy([
    'col_1',
    'col_2'
]).agg({
    'c': 'avg',
    'b': 'sum',
    'some_column': 'count'
}).withColumnRenamed('sum(b)', 'new_b')
  .withColumnRenamed('count(some_column)', 'cnt')

Answer 1

我有一个玩具解决方案使用PySpark函数sum，avg，count和first。注意到在这个解决方案中使用Spark2.1。希望这能帮点忙！

from pyspark.sql.functions import sum, avg, count, first

# create toy example dataframe with column 'A', 'B' and 'C'
ls = [['a', 'b',3], ['a', 'b', 4], ['a', 'c', 3], ['b', 'b', 5]]
df = spark.createDataFrame(ls, schema=['A', 'B', 'C'])

# group by column 'A' and 'B' then performing some function here
group_df = df.groupby(['A', 'B'])
df_grouped = group_df.agg(sum("C").alias("sumC"), 
                          avg("C").alias("avgC"), 
                          count("C").alias("countC"), 
                          first("C").alias("firstC"))
df_grouped.show() # print out the spark dataframe