我目前正在建立一个网络爬虫,并希望增加一个延迟的请求,这样我就不会击中网络服务器硬。
添加此延迟的最合适方法是什么?
另外,爬虫的适当延迟量是多少?我在想.5-1秒。
谢谢
发布于 2013-03-28 00:35:47
您可以使用
Thread.Sleep(TimeSpan.FromSeconds(1))搜索引擎可能会使用10-15秒甚至60秒的较大延迟。有礼貌的爬虫尊重网站在robots.txt中提供的“爬行延迟”。有关详细信息,请查看http://en.wikipedia.org/wiki/Web_crawler#Politeness_policy
https://stackoverflow.com/questions/15664252
复制相似问题