DCOS簇尺度

Question

我有一个包含3个代理节点的DCOS集群；我几乎没有像spark这样运行在DCOS上的服务。

1. 如果我缩放我的DCOS集群，我是否也需要扩展我的spark (因为如果我在DCOS集群中添加了一个第4个节点，并且当我运行一个spark作业时，主人可以为在没有安装spark的第4个节点上运行的spark作业分配资源，这样它就会失败)？

在我的观察中，我发现这些作业被提交到Mesos主人看到的任何节点。

1. 是否有一种方法可以指定火花作业不能在某些节点上运行？

Answer 1

1. 在默认情况下不是，所以你将不得不扩展星火。在这种情况下，按照比例，我指的是增加更多的执行者。不需要执行任何额外的包安装来支持这一点。

动态分配可能会有所帮助，但我没有使用它：

http://spark.apache.org/docs/latest/running-on-mesos.html#dynamic-resource-allocation-with-mesos

http://spark.apache.org/docs/latest/job-scheduling.html#dynamic-resource-allocation

1. 你可以控制马拉松的工作地点，但据我所知，不是星火，而是通过DCOS。我认为您将能够在底层的Mesos配置中实现它，但不建议这样做。您可以在一个DCOS集群中创建多个星体“群集”，并选择要提交到哪个星火实例：

要安装DC/OS的多个实例，请在安装期间在JSON配置文件中将每个service.name设置为唯一的名称(例如：“Spark”)：

{
  "service": {
    "name": "spark-dev"
  }
}

若要使用DC/OS Spark中的特定Spark实例，请执行以下操作：

$ dcos config set spark.app_id <service.name>

https://docs.mesosphere.com/1.8/usage/service-guides/spark/install/