基于Mesos的星火框架

Question

我在梅索斯周围有几个问题-火花：

1. 当我在Mesos上提交具有不同星火上下文的spark作业时，它是调用不同的mesos-火花框架实例还是使用相同的。
2. 如何确保每次创建不同的火花框架。
3. 我是否可以为特定的星火上下文或框架实例指定保留/预分配mesos-从节点的约束。我知道它有点违背了Mesos的目的，而Mesos可以保证内存和CPU在粗粒度模式下。但出于某种原因，我不想共享在不同的火花作业(针对不同的用户)中运行任务(奴隶)的物理机器。

Answer 1

1/2，每个Spark上下文将启动一个单独的Mesos框架，您应该能够通过导航到Mesos UI来确认这一点，并看到创建的所有框架，这应该对应于您创建的Spark上下文1到1。

1. 您可以为一组星火任务保留资源，方法是在每个从属服务器上保留一段资源，并将它们标记为特定的角色。

例如，如果您希望在从服务器上保留4gb内存和2个内核来运行特定的任务集，那么您可以指定--在启动从服务器时，资源=“cpu(Spark1)：2，mem(spark1):4098，cpu()：2，mem():4098”。这为spark1角色提供了4gb内存和2个cpu，而所有其他框架为2CPU和4gb内存。然后，向spark1角色注册的框架将接收保留的资源以及任何可用的通配符(*)资源供其使用。

在星火框架方面，我有一个开放的PR，它支持注册一个特定的角色(https://github.com/apache/spark/pull/4960)，希望能很快合并。因此，如果您喜欢使用此功能，您需要应用这个拉请求，并建立自己的火花目前。