多进程Python 3

Question

我有一个遍历数字数组的脚本，这些数字被传递给一个调用API的函数。它返回JSON数据，然后将这些数据写入CSV。

for label_number in label_array:
    call_api(domain, api_call_1, api_call_2, label_number, api_key)

这个列表最多可以有7000个元素，因为API需要几秒钟的时间来响应，这可能需要几个小时来运行整个脚本。多处理似乎是与之相适应的方式。我不太清楚如何使用上面的循环来做到这一点。我正在查看的文档是

https://docs.python.org/3.5/library/multiprocessing.html

我在网上找到一篇类似的文章

Python Multiprocessing a for loop

但是操纵它似乎不起作用，我认为我在将所有变量传递给函数时搞砸了。

任何帮助都将不胜感激。

Answer 1

多处理可能会有所帮助，但这听起来更像是一个线程问题。任何IO实现都应该是异步的，这就是线程的作用。更好的是，在python3.4以后的版本中，您可以使用asyncio。https://docs.python.org/3.4/library/asyncio.html

如果你有python3.5，这将会很有用：https://docs.python.org/3.5/library/asyncio-task.html#example-hello-world-coroutine

您可以将asyncio和multiprocessing混合使用，以获得优化的结果。此外，我还使用了joblib。

import multiprocessing
from joblib import Parallel, delayed 

def parallelProcess(i):
    for index, label_number in enumerate(label_array):
        if index % i == 0:
            call_api_async(domain, api_call_1, api_call_2, label_number, api_key)

if __name__=="__main__":
    num_cores_to_use = multiprocessing.cpu_count()
    inputs = range(num_cores_to_use)
    Parallel(n_jobs=num_cores_to_use)(delayed(parallelProcess)(i) for i in inputs)