首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >scrapy似乎没有在depth_limit上进行优化

问scrapy似乎没有在depth_limit上进行优化
EN

Stack Overflow用户
提问于 2013-10-22 11:26:37
回答 1查看 518关注 0票数 1

我刚接触scrapy,似乎还没有人问过这个问题。

问题是,我只想浅层抓取一个大站点(大约500个链接),所以我设置了depth_limit=1 (可能以后会扩展到2或3),还要求爬行器过滤所有重复的响应。

然而,在阅读日志后,我发现即使在depth_limit=1时,爬虫仍然检查很多首页的外链(大约100000)和所有返回的depth > 1,这是浪费时间,因为首页上的所有链接都是深度1,那么生成的链接肯定会深度2或更高。我认为没有理由检查深度为1的链接的外链来查找深度等于1的外链。

那么我如何编写我的设置来实现我自己的逻辑或者优化爬行器呢?

EN

回答 1

Stack Overflow用户

发布于 2013-11-02 02:29:16

我想你是对的。Scrapy在这里做额外的工作。

深度限制(或深度过滤器)是作为管道末端的中间件实现的。因此,在整个周期(抓取页面、生成项目、生成请求)之后,它会过滤请求。

我可以将解决方案概括为,

如果您使用的是BaseSpider,那么您可以使用request.meta来存储深度并为生成的请求递增深度。因为您是在解析回调中有效地生成请求的人,所以当达到深度时,您将不会生成请求。

如果你使用的是爬网爬虫,那么你必须覆盖基本CrawlSpider的"_requests_to_follow“。尽管如此,您仍将传播深度。_request_to_follow中的所有内容都是一样的,除了当达到深度时,您将不会提取和生成请求。

希望能有所帮助。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/19508460

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档