Python多处理如何让脚本更快？

Question

Python 3.6

我正在写一个脚本，使我自动检查，以确保在一个网站上的所有链接工作。

我有它的一个版本，但它运行得很慢，因为python解释器一次只运行一个请求。我导入selenium以在列表中下拉链接。我从41000个链接的列表开始。我摆脱了重复，现在我的列表中只有7300个链接。我使用request模块来检查响应代码。我知道多处理是答案，只要看看一堆不同的方法就知道了。哪一个最能满足我的需求？在进阶时谢谢。这是我第一次在论坛上发帖，如果我没有遵守协议，请原谅。在进阶时谢谢

特拉维斯

下面的函数检查我正在尝试加速的python请求模块的链接：

​

def check_links(y):
    for ii in y:
        try:
            r = requests.get(ii.get_attribute('href'))
            rc = r.status_code
            print(ii.get_attribute('href'), ' ', rc)
        except Exception as e:
            logf.write(str(e))
        finally:
            pass

​

Answer 1

如果您只需要将相同的函数应用于列表中的所有项，则只需使用进程池，并映射到您的输入。下面是一个简单的例子：

from multiprocessing import pool

def square(x):
    return {x: x**2}

p = pool.Pool()
results = p.imap_unordered(square, range(10))

for r in results:
    print(r)

在本例中，我使用了imap_unordered，但也使用了map和imap。您应该选择与您的需求最匹配的。