tqdm和numpy向量化

Question

我正在使用一个np.vectorize-ed函数，希望通过tqdm查看该函数的进度。然而，我还不知道如何做到这一点。

我找到的所有建议都与将计算转换为for循环或pd.DataFrame有关。

Answer 1

据我所知，tqdm不会对numpy.vectorize进行包装。

要显示numpy数组的进度条，可以使用numpy.ndenumerate。

给定输入和函数：

import numpy as np
from tqdm import tqdm

a = np.array([1, 2, 3, 4])
b = 2
def myfunc(a, b):
    "Return a-b if a>b, otherwise return a+b"
    if a > b:
        return a - b
    else:
        return a + b

替换下面的矢量化部分

# using numpy.vectorize
vfunc = np.vectorize(myfunc)
vfunc(a, b)

有了这个

# using numpy.ndenumerate instead
[myfunc(x,b) for index, x in tqdm(np.ndenumerate(a))]

以查看tqdm进度。

Answer 2

我终于找到了一种方法，可以使用np.vectorize函数获得要更新的tqdm进度条。我使用with包装了向量化函数

with tqdm(total=len(my_inputs)) as pbar:
    my_output = np.vectorize(my_function)(my_inputs)

然后在my_function()中添加以下几行

global pbar
pbar.update(1)

瞧！我现在有了一个随着每次迭代而更新的进度条。我的代码只有轻微的性能下降。

注意:当您实例化函数时，它可能会报告pbar尚未定义。只需在实例化之前放置一个pbar =0，然后该函数将调用由with定义的pbar

希望它能帮助每个在这里阅读的人。