我刚接触scrapy,似乎还没有人问过这个问题。
问题是,我只想浅层抓取一个大站点(大约500个链接),所以我设置了depth_limit=1 (可能以后会扩展到2或3),还要求爬行器过滤所有重复的响应。
然而,在阅读日志后,我发现即使在depth_limit=1时,爬虫仍然检查很多首页的外链(大约100000)和所有返回的depth > 1,这是浪费时间,因为首页上的所有链接都是深度1,那么生成的链接肯定会深度2或更高。我认为没有理由检查深度为1的链接的外链来查找深度等于1的外链。
那么我如何编写我的设置来实现我自己的逻辑或者优化爬行器呢?
发布于 2013-11-02 02:29:16
我想你是对的。Scrapy在这里做额外的工作。
深度限制(或深度过滤器)是作为管道末端的中间件实现的。因此,在整个周期(抓取页面、生成项目、生成请求)之后,它会过滤请求。
我可以将解决方案概括为,
如果您使用的是BaseSpider,那么您可以使用request.meta来存储深度并为生成的请求递增深度。因为您是在解析回调中有效地生成请求的人,所以当达到深度时,您将不会生成请求。
如果你使用的是爬网爬虫,那么你必须覆盖基本CrawlSpider的"_requests_to_follow“。尽管如此,您仍将传播深度。_request_to_follow中的所有内容都是一样的,除了当达到深度时,您将不会提取和生成请求。
希望能有所帮助。
https://stackoverflow.com/questions/19508460
复制相似问题