grequests打开的文件太多错误

Question

我正在尝试执行大约100 k GET请求，并解析每个请求的响应体。我认为grequests是一个很好的方法，但是我发现了与“打开的文件太多”相关的错误。下面是代码：

import grequests

with open("./100k-sites.csv", "r") as f:
    urls = ["http://" + line.rstrip() for line in f]

rs = (grequests.get(u, timeout=1) for u in urls)
responses = grequests.map(rs)

for r in responses:
    try:
        # do something with the response body
    except:
        pass

有人有这方面的经验吗？我得到的错误是：

requests.packages.urllib3.connection.HTTPConnection对象在0x7f817ab36898>：未能建立新连接Errno 24太多打开的文件

Answer 1

也许这只是一个解决办法(就像上面提到的讨论中的人说的那样)，但是IMHO值得在这里写一下，我们可以用这两行来解决这个问题：

import resource
resource.setrlimit(resource.RLIMIT_NOFILE, (110000, 110000))