我正在尝试使用puppeteer & cron抓取一个网站。它工作得很好,除了我不知道如何停止程序执行,如果检测到重复的url?
下面是我的项目的伪代码:
// target = grab the <a> tag from site
// page.goto(target)
// grab all data
// save it to the file 虽然这段代码运行良好,但当我在scheduler/cron上运行这段脚本时,我想以某种方式检测来自源站点的<a>标记是否已经被抓取,并在每次运行cron函数时停止代码再次抓取旧链接并将重复数据保存到字段中。
耽误您时间,实在对不起。
发布于 2020-12-11 04:25:21
我猜你正在抓取一些URL列表,然后遍历它。所以它应该是这样的:
//保存URL列表的变量//带有已检查URL列表的变量(数组/映射
//URL上的迭代
//检查URL是否在已检查的列表中,如果是,则继续下一次迭代
//target =从站点抓取标签
//page.goto(目标)
//抓取所有数据
//将其保存到文件中//将URL保存在包含已选中列表的变量中
https://stackoverflow.com/questions/65241415
复制相似问题