是否可以为共享计算机上的默认任务调度程序指定最大内存？

Question

我在普林斯顿大学的一个共享分析节点上工作。

我经常遇到由于大量内存消耗而导致我的dask进程被终止的问题。这似乎是管理员端的一种预防措施，以避免系统不稳定。

为了控制资源，我通常通过dask.distributed使用LocalCluster，但在这个特殊情况下，这阻止了我使用用numba实现的高效算法(参见here for a discussion of the problem)。

我确实找到了指定要使用的here线程数量的答案，但是有没有类似的方法来指定线程调度器的最大内存量？

Answer 1

不，Dask不会控制调度器进程的内存。如果它在内存中越来越大，那么这是一个迹象，表明您可能误用了它。理想情况下，调度器永远不会存储任何数据。