为什么星火中的collect_list不使用部分聚合

Question

最近，我使用了UDAF，查看了内置聚合函数collect_list的源代码，发现collect_list没有实现merge方法，尽管我认为这是非常直接的(只是连接两个数组)。从org.apache.spark.sql.catalyst.expressions.aggregate.collect.Collect获取的代码

override def merge(buffer: InternalRow, input: InternalRow): Unit = {
 sys.error("Collect cannot be used in partial aggregations.")
}

Answer 1

这不再是火花-1893年的情况，但我认为最初的设计主要考虑到collect_list。

因为collect_list在逻辑上等同于groupByKey，为了避免长时间的GC暂停，动机将完全相同。特别是在groupByKey中的地图端组合已经禁用了Spark火花-772

地图侧按关键案例分组合并并不能减少数据洗牌的数量。相反，它迫使更多的对象进入旧代，并导致更糟的GC。

所以为了回应你的评论

我认为这是非常直接的(只是连接两个数组)。

它可能很简单，但它并没有增加太多的价值(除非在上面有另一个减少操作)，并且序列连接是昂贵的。