火花-什么是工人？(深入)

Question

好吧，我已经在Spark上工作了两个月了，我想更深入地理解Spark中的worker的概念。我知道它被称为“节点”，它管理自己的执行器。在我的例子中，每个worker有6个执行器，因为我有6个核心，我是这样配置的。1个executor =1个JVM，但什么是worker？它的所有职责是什么？

我提前感谢spark的专家们分享他们的知识。

Answer 1

工作者是集群中的一台机器。主人管理所有的工人，告诉他们该做什么。worker在它的内存中有(部分)你的数据，这些数据在同一个worker上的执行器之间共享。当工作人员必须交换数据时，这称为混洗。假设你的5台机器中的每一台都有6个核心，那么你可以有24个执行器，而你有4个worker和1个master。