首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >仅抓取域名

问仅抓取域名
EN

Stack Overflow用户
提问于 2019-03-14 19:40:05
回答 1查看 46关注 0票数 0

如何使用Scrapy实现只抓取域名?

我对任何domain.tld的深度搜索不感兴趣。我的想法是从每个域的索引页面只使用1跳的深度-所以直接从主页链接将足够作为链接缓冲区。

我需要尽可能快的爬虫作为唯一的。

我想将域领域限制为.cz

谢谢。

EN

回答 1

Stack Overflow用户

发布于 2019-03-14 21:10:13

您可以在SETTINGS上使用DEPTH_LIMIT参数将爬网限制为您想要的深度。

https://docs.scrapy.org/en/latest/topics/settings.html?highlight=depth_limit

如果您只想转到一个跳跃深度,您应该设置DEPTH_LIMIT=2并使用selector或link_extractor选择链接。

例如:response.xpath('//a/@href').re(r'.*.example.com.*')

https://docs.scrapy.org/en/latest/topics/selectors.html https://docs.scrapy.org/en/latest/topics/spiders.html?highlight=link_extractor

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/55161589

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档