问我怎么能强制停止我的爬虫得到一个特定的网址抓取最后一次？
EN

Stack Overflow用户

提问于 2017-06-27 20:59:06

回答 1查看 47关注 0票数 0

我正在制作一个爬虫来找出最近添加的youtube视频，当我的爬虫到达旧视频(在前一个转弯中爬行)时，我想停止爬虫。我使用的不是scrapy和漂亮的汤，我使用的是python库。请给我推荐任何选项

发布于 2017-06-27 21:24:53

简单的检查和通过不是很有效吗？

if video in list_of_crawled_videos:
    pass
else:
    list_of_crawled_videos.append(video)

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/44780928

复制

相似问题

问我怎么能强制停止我的爬虫得到一个特定的网址抓取最后一次？EN