配置Dask分布式

Question

我正在为我们的数据科学家建立一个工作环境。目前，我们有一个单一的节点运行木星中心，安装了Anaconda和Dask。(2个带6个核心的插座，每个内核有2个线程，每个线程有140 gb的内存)。当用户创建LocalCluster时，目前的默认设置是占用所有可用的内核和内存(据我所知)。这在显式的情况下是可以的，但是我希望标准的LocalCluster使用比这个少。因为我们做的每一件事

现在，当查看配置时，我发现没有处理内存的n_workers、n_threads_per_worker、n_cores等配置，在dask.config.get('distributed.worker')中，我看到两个与内存相关的选项(memory和memory-limit)都指定了这里列出的行为：https://distributed.dask.org/en/latest/worker.html。

我还查看了jupyterlab dask扩展，它允许我完成所有这些工作。然而，我不能强迫人们使用朱庇特实验室。

在创建集群时，我希望能够设置以下标准配置：

1. n_workers
2. processes = False (每个工作人员或集群的I think?)
3. threads_per_worker
4. memory_limit )。我知道这只能是一个软性限制。--

任何关于配置的建议也是非常欢迎的。

Answer 1

截至2019年至09-20年，这一目标尚未落实。我建议在https://github.com/dask/distributed/issues/new中提出一个特性请求，甚至是拉请求。