文章/答案/技术大牛

发布

社区首页 >问答首页 >Python urllib2 crawler崩溃路由器

问Python urllib2 crawler崩溃路由器
EN

Stack Overflow用户

提问于 2011-03-14 07:15:33

回答 1查看 376关注 0票数 0

我已经将urllib2链接到了谷歌财经的引文中。在发送新请求之前，请求队列完成并且输出存储为秒，此时我只检查了10个股票，所以线程计数是每秒10个。虽然我的路由器可能不是最好的，但它在这种负载下崩溃了。

这是因为一个写得不好的爬虫吗？有没有办法在不增加调度差距的情况下减少请求/网络负载？

难道P2P软件不能成功地发送更多的请求吗？

发布于 2011-03-14 07:35:44

我不会建议从Google抓取任何东西，除了API，或者你可能会被禁止，过滤或法律诉讼(虽然不太可能)，特别是在制作商业和/或公开发布的东西时。

这看起来很有趣：http://yken.org/2009/01/05/how-to-get-a-real-time-stock-quote-using-google-api/

关于路由器的问题，你确定你的路由器崩溃了，你不会被Google屏蔽吗？

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/5293183

复制

相似问题

问Python urllib2 crawler崩溃路由器EN