如何查看Dask计算任务进度？

Question

当我使用Dask运行一个计算任务时，我希望在Jupyter笔记本上看到一个进度条，我正在从一个大的csv文件+4 4GB中计算id列的所有值，所以你有什么想法吗？

import dask.dataframe as dd

df = dd.read_csv('data/train.csv')
df.id.count().compute()

Answer 1

如果您使用的是单机调度程序，请执行以下操作：

from dask.diagnostics import ProgressBar
ProgressBar().register()

http://dask.pydata.org/en/latest/diagnostics-local.html

如果您使用的是分布式调度程序，请执行以下操作：

from dask.distributed import progress

result = df.id.count.persist()
progress(result)

或者只使用仪表板

http://dask.pydata.org/en/latest/diagnostics-distributed.html

Answer 2

This resource提供了两种情况的完整代码示例(本地和分布式)以及有关使用Dask仪表板的更多详细信息。

请注意，当在Jupyter notebooks中工作时，您可能必须将您想要跟踪的ProgressBar().register()调用和计算调用(例如df.set_index('id').persist())分离到两个单独的单元格中，才能真正显示进度条。

执行以下操作：

​

​

不要这样做：

​

​