在星火中，我可以为每个执行器配置不同的CPU /内存吗？

Question

我有一个异构的集群。例如，我有下面的机器：

• 1核1g
• 2核2g
• 3核心3g
• 5
• 5 g
• 5核5gH 210F 211

我的星盘集群也处于独立模式。

问题是，当我使用默认参数的spark-submit时，它将使用我的整个集群资源。但是当我在应用程序中输入仪表板时，我可以看到一个执行器有5个内核，但只使用1g内存。

如果配置executor-memory 5g，那些内存不足5g的节点将不会启动执行程序。

如何在一个应用程序中配置Spark以支持不同规格的执行器？

例如：

1g

• executor2: 2核2g

• ..etc

：

• executor1: 1核

Answer 1

我有一个独立的安装(沿边纱)在一台实验单节点机。

如果您有多个节点，那么实际上您可以根据我为星火独立集群所读到的内容，按照https://docs.cloudera.com/documentation/enterprise/5-2-x/topics/cdh_ig_spark_configure.html设置每个节点/工作者的属性。我不是一个纱线专家，我只是运行的设置在过去的设置在集群模式，所以我不能评论纱线的角度，只评论独立。

但你不能做你暗示的事情，通过明确设置这样的事情与火花提交，即每个应用程序。这是所有运行时资源/集群环境的标准接口。事实上，独立获得所有资源，除非你限制，也就是贪婪。