首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何检测URL列表中的重复值并停止迭代?

问如何检测URL列表中的重复值并停止迭代?
EN

Stack Overflow用户
提问于 2020-12-11 03:54:47
回答 1查看 79关注 0票数 0

我正在尝试使用puppeteer & cron抓取一个网站。它工作得很好,除了我不知道如何停止程序执行,如果检测到重复的url?

下面是我的项目的伪代码:

代码语言:javascript
复制
// target = grab the <a> tag from site

// page.goto(target)

// grab all data

// save it to the file 

虽然这段代码运行良好,但当我在scheduler/cron上运行这段脚本时,我想以某种方式检测来自源站点的<a>标记是否已经被抓取,并在每次运行cron函数时停止代码再次抓取旧链接并将重复数据保存到字段中。

耽误您时间,实在对不起。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-12-11 04:25:21

我猜你正在抓取一些URL列表,然后遍历它。所以它应该是这样的:

//保存URL列表的变量//带有已检查URL列表的变量(数组/映射

//URL上的迭代

//检查URL是否在已检查的列表中,如果是,则继续下一次迭代

//target =从站点抓取标签

//page.goto(目标)

//抓取所有数据

//将其保存到文件中//将URL保存在包含已选中列表的变量中

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/65241415

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档