如何让自适应dask工作者在启动时运行一些代码？

Question

我正在使用dask-kubernetes创建一个dask调度器，并将其设置为自适应模式。

from dask-kubernetes import KubeCluster
cluster = KubeCluster()
cluster.adapt(minimum=0, maximum=40)

我需要每个worker在创建它们时运行一些设置代码(使用os.environ设置一些环境变量)，以便任务正确执行。

我在文档中看到，对于从命令行启动的工作进程，有一个--preload标志。我猜我需要将其直接设置到某个自适应调度器中。

如何将代码传递给我的工作进程，以便在启动时执行？

Answer 1

如果您想要的只是设置环境变量，那么您可以使用dask-kuberenetes配置文件来处理这个问题。我认为KubeCluster甚至可能有一个env=关键字或其他什么。

对于更通用的代码，使用预加载脚本是目前最好的方法，这是正确的。然而，这并不是在所有情况下都是理想的。理想情况下，您可以在调度程序中注册一些启动代码，以便在启动时将其传递给所有工作进程。然而，这并没有在2018-08-01实现。