开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >星星之火- groupByKey over reduceByKey的用途是什么？

问星星之火- groupByKey over reduceByKey的用途是什么？
EN

Stack Overflow用户

提问于 2020-07-29 16:03:35

回答 1查看 220关注 0票数 0

有很强的理由说明为什么应该避免使用groupByKey，并且更愿意使用reduceByKey来发送优化的网络带宽。

https://databricks.gitbooks.io/databricks-spark-knowledge-base/content/best_practices/prefer_reducebykey_over_groupbykey.html

是否有任何案例是真正需要的，不能用reduceByKey解决？

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-07-29 17:09:44

有些用例更倾向于使用groupBy。

Replace groupByKey with reduceByKey in Spark

and
，其中“分组”项不应进行任何类型的聚合，项目应按其原样发送--在不关联的操作中使用-
。不能使用reduceByKey。唯一的选项是groupByKey

票数 0

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/63157755

复制

相似问题