如何避免使用grequests时出现429错误？

Question

我想使用"grequests“来创建一个解析器，但正如预期的那样，由于很多请求，我得到了一个429错误。

import grequests


sites = [f"https://fantlab.ru/work{i}" for i in range(1, 10)]

response = (grequests.get(url, timeout=5)  for url in sites)
resp = grequests.map(response)

print(resp)

[<Response [200]>, <Response [200]>, <Response [200]>, <Response [404]>, <Response [429]>...]

Answer 1

当您发送太多请求时，返回429 (太多请求)状态代码。您可以尝试显示请求(使用来自time.sleep(n)模块的time，或者查看服务器所有者是否可以增加配额。