Dask分布式本地目录

Question

我想将所有dask临时数据定向到我在/mnt/1的快速大磁盘上。我正在像这样运行调度程序：

dask-scheduler --local-directory /mnt/1

工人们：

dask-worker 127.0.0.1:8786 --memory-limit 16GB --nthreads 1 --nprocs 6 --local-directory /mnt/1/

我的进口品是这样的：

import dask
from dask import dataframe as dd
from dask import delayed
from dask.distributed import Client
client = Client('localhost:8786', set_as_default=True)
dask.config.set(shuffle='disk')

然而，我仍然看到一个partd目录正在创建，并且在我的/tmp目录中充满了内容，这个目录不在我的快速和大磁盘上。

我的问题是:我如何告诉distributed将所有临时数据绝对发送到/mnt/1，而不将任何东西放在/tmp中

Answer 1

这似乎是可行的，请注意最后一行。有些烦人的是，命令行标志实际上没有执行他们建议的操作。

import dask
from dask import dataframe as dd
from dask import delayed
from dask.distributed import Client
client = Client('localhost:8786', set_as_default=True)
dask.config.set(shuffle='disk')
dask.config.set({'temporary_directory': '/mnt/1'})