星火资源调度-独立集群管理器

Question

我有相当低的配置测试机，我的数据管道开发在星火。我将只使用一个AWSt2.大型实例，它只有2个CPU和8GB内存。

我需要运行两个火花流作业，以及留一些内存和CPU的能力，以偶尔测试批处理作业。

所以我有一位主人和一位工人，他们在同一台机器上。

我有一些一般性的问题：( 1)每名工人能执行多少名执行者？我知道违约就是其中之一，但改变这种情况是否有意义呢？

2)一个执行者能否执行多个应用程序，或者一个执行者只能用于一个应用程序？

3)是一种使此工作的方法，是设置应用程序可以在配置文件中使用的内存，还是当我创建spark上下文时？

谢谢

Answer 1

每个工人可以运行多少个执行者？我知道违约就是其中之一，但改变这种情况是否有意义呢？

只有当你有足够的资源时，这才有意义。比如说，在一台24 GB和12核的机器上，如果你确信8GB足够一个执行器，就可以运行3个执行器。

一个执行器可以执行多个应用程序，或者一个执行器只能用于一个应用程序吗？

不，每个应用程序都有自己的执行者。

是一种使此工作的方法，设置应用程序可以在配置文件中使用的内存，还是当我创建星火上下文时？

我不确定我是否理解这个问题，但是有三种方法可以为应用程序提供配置

• 当您创建新的SparkConf实例时，请不要忘记打开读取默认属性。
• 当您运行应用程序或-conf(如果是火花提交或火花外壳)时，通过-D提供系统属性。尽管对于内存选项，有一些特定的参数(如spark.executor.memory或spark.driver.memory等)需要使用。
• 通过使用新的SparkConf实例的set方法提供相同的选项。