使用Apify抓取多个页面

Question

可以使用带有伪URL的Apify抓取多个页面吗？

当人们问同样的问题时，答案大多指向伪URL，如果有可能或不可能这样做，并不会直接解决问题。

如果我在运行爬虫的时候不知道伪URL，并且我从一个页面上抓取了10个链接-然后想要抓取这10个链接，那怎么做呢？

https://kb.apify.com/tutorial-creating-your-first-crawler/crawling-multiple-pages

Answer 1

简短的回答是：

是。

长长的答案是：

有两种主要方法可以将更多页面添加到爬网队列中。

预先确定的结构：

伪URL用于跟踪符合特定结构的链接。网站通常在它们使用的URL中使用一些结构化。例如：

https://github.com

使用以下结构：

https://github.com/{username}/{repository}

因此，如果您想要抓取用户apifytech的所有存储库，可以使用如下所示的伪URL：

https://github.com/apifytech/[.+]

您可以在tutorial for Apify SDK中找到有关伪You的更多信息。

在运行时动态添加URL

如果需要在运行时将更多链接动态添加到爬网队列，有几种选择。

在使用Apify SDK时，您始终可以使用requestQueue.addRequest()函数或utils.enqueueLinks()函数。

在使用Apify Web Scraper时，您可以使用context.enqueueRequest()动态添加更多页面。