首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在Spark SQL中使用groupby的最佳实践是什么?

问在Spark SQL中使用groupby的最佳实践是什么?
EN

Stack Overflow用户
提问于 2019-03-10 13:16:57
回答 1查看 183关注 0票数 0

我有一个按多列分组的Spark SQL。我想知道列的顺序是否对查询性能有影响。

在较早的时间放置具有更多不同值的列是否有帮助?我假设groupby基于某种散列/混洗算法。如果第一个groupby可以将数据分发到可以保存在一台机器上的较小子集,则后面的groupby可以在本地完成。这是真的吗?

groupby的最佳实践是什么?

EN

回答 1

Stack Overflow用户

发布于 2019-03-10 14:18:16

正如您所假设的那样,group by对列使用散列函数来决定哪组group by键将结束于哪个分区中。您可以使用distribute by告诉spark使用哪些列- https://docs.databricks.com/spark/latest/spark-sql/language-manual/select.html

至于对数据的任何其他操作(比如在前面设置更多不同的值),请注意,如果在查询中有2条group by语句,那么最终会有2次混洗。第一个结果显然是相当大的(因为它不是最终的聚合)。所以我会尝试使用尽可能少的group by语句。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/55084678

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档