限制每个域名的urlfetch速度

Question

有没有办法限制urlfetch在每个时间单位向任何一台服务器发出的请求数量？

我不小心DoS了一个我正在爬行的站点，因为async urlfetch api使它分支，直到它死掉(平均每个请求产生不止一个新请求)。日志包含大约200个DeadlineExceeded，每个日志之间有一毫秒。

Answer 1

您可以使用time.sleep()方法。将当前线程的执行挂起给定的秒数。

import time
[...]
for u in urls:
    urllib2.urlopen(u, timeout=4)
    time.sleep(1)

https://docs.python.org/2/library/time.html#time.sleep