如何有效地将大型DataFrame列作为值列表发送给函数

Question

我试图在DataFrame列上找到一个统计量(基尼系数)，其中我需要传递特定列的所有值才能计算统计量(基尼系数)。

在这里，统计函数需要“值列表”并返回整数。为了从DataFrame列收集值列表，我尝试了以下2种方法。

方法1：

1. 从DataFrame中选择列。
2. 把它交给RDD。
3. 将每个值映射到(1，值)
4. groupByKey来聚合所有值。
5. 将聚合值发送到统计函数以计算统计量。

办法2：

1. 从DataFrame中选择列。
2. 把它交给RDD。
3. 执行收集操作以聚合值。
4. 将聚合值发送到统计函数以计算统计量。

但这两种方法的效果似乎都非常缓慢。

请您分享一下您的建议或其他有效的方法。

你好，尼拉杰

Answer 1

如果对数据进行了排序，并且没有负或零，则可以使用本页中描述的第三个公式计算基尼系数：

methods/gini.htm

Python的实现可在https://github.com/oliviaguest/gini上使用。

使用dataframe的df.groupBy().sum()操作计算和是很容易的。