如何在dask_cudf和cudf中使用tqdm进度条

Question

我可以在pandas中使用tqdm进度条，例如：

tqdm.pandas()
df = df['var'].progress_apply(lambda x: something(x))

我可以在thing cudf或dask_cudf中做同样的事情吗?如果不能，那么我如何在其中使用tqdm进度条，

Answer 1

在progress_apply可用之前，您必须自己实现一个等效的工具(例如使用apply_chunks)。只是代码的一个草图：

full_size = 100
t = tqdm(total=full_size)
def chunks_generator():
    chunk_size = 5
    for s in range(0,full_size,chunk_size):
        yield s
        t.update(s)

df.apply_chunks(..., chunks=chunks_generator())