dask多进程无保姆对性能的影响

Question

我注意到使用只有进程和没有保姆的dask工作者的性能比使用保姆的性能下降了5/6倍。这是预期的行为吗？

由于工人的状态，我想在没有保姆的情况下运行dask。我理解在工作者中有状态是不可取的，但这超出了我的控制范围(第三方库)。

如果我使用保姆运行dask worker，我是否可以捕获worker故障/重新启动并重新初始化worker？

Answer 1

保姆进程只是启动一个dask-worker进程，然后监视它，如果它失败了就重新启动它。它应该完全不会影响性能。如果您没有保姆，那么您就不能捕获工人故障或重新启动。这就是保姆的角色。