问如何在星火上处理任务结果？
EN

Stack Overflow用户

提问于 2021-09-10 13:48:42

回答 1查看 48关注 0票数 0

我是新来的火花，我目前正在努力了解火花的架构。据我所知，星火集群管理器将任务分配给工作节点，并将数据的分区发送给它们。在那里，每个工作节点执行转换(如映射等)。在它自己特定的数据分区上。

我不明白的是:来自不同工作人员的这些转换的所有结果都到哪里去了？它们是否被发送回群集管理器/驱动程序，并且一旦减少(例如，每个唯一键的值之和)？如果是，是否有具体的方式发生这种情况？

如果有人能启发我的话，那就太好了，无论是火花文档还是其他有关体系结构的参考资料都无法做到这一点。

回答已采纳

发布于 2021-09-10 19:29:18

好问题，我想你是在问洗牌是怎么工作的.

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/69133212

复制

相似问题

问如何在星火上处理任务结果？EN