如何在生产集群中对spark作业进行性能调优？

Question

假设我们有一个spark作业，我们正在进行所有的性能调优，并使其运行在开发环境中，该环境将具有有限的配置(1个节点32 job 500 job硬盘)

显然，我们的生产集群将是高的，在开发环境中测量的调优参数如何在生产集群中有所帮助。直接在生产集群中调优作业是否可取？它是如何实时完成的？

Answer 1

不知羞耻的插件(作者)大多数时候尝试Sparklens https://github.com/qubole/sparklens，真正的问题不是应用程序是否很慢，而是它是否可以扩展。对于大多数应用程序，答案都是有限制的。

spark应用程序的结构对其可伸缩性有重要的限制。阶段中的任务数量、阶段之间的依赖关系、偏差和驱动程序端完成的工作量是主要的限制因素。

Sparklens最好的特性之一是它模拟并告诉你你的spark应用程序在不同的执行器计数下将如何执行。看起来很适合你的问题。