我有一个按多列分组的Spark SQL。我想知道列的顺序是否对查询性能有影响。
在较早的时间放置具有更多不同值的列是否有帮助?我假设groupby基于某种散列/混洗算法。如果第一个groupby可以将数据分发到可以保存在一台机器上的较小子集,则后面的groupby可以在本地完成。这是真的吗?
groupby的最佳实践是什么?
发布于 2019-03-10 14:18:16
正如您所假设的那样,group by对列使用散列函数来决定哪组group by键将结束于哪个分区中。您可以使用distribute by告诉spark使用哪些列- https://docs.databricks.com/spark/latest/spark-sql/language-manual/select.html
至于对数据的任何其他操作(比如在前面设置更多不同的值),请注意,如果在查询中有2条group by语句,那么最终会有2次混洗。第一个结果显然是相当大的(因为它不是最终的聚合)。所以我会尝试使用尽可能少的group by语句。
https://stackoverflow.com/questions/55084678
复制相似问题