Scrapy如何避免分页黑洞？

Question

我最近在一个网站蜘蛛上工作，注意到它请求的页面数量是无限的，因为一个网站并没有将其分页编码为永远停止。

因此，虽然它们只有几页内容，但它仍然会生成下一个链接和url ...?page=400、...?page=401等。

内容没有改变，只改变了URL。有没有办法让Scrapy在内容停止更改时停止分页？或者是一些我可以定制的代码。

Answer 1

如果内容没有变化，您可以将当前页面的内容与上一页面的内容进行比较，如果相同，则中断爬网。

例如：

def parse(self, response):
    product_urls = response.xpath("//a/@href").extract()
    # check last page
    if response.meta.get('prev_urls') == product_urls:
        logging.info('reached the last page at: {}'.format(response.url))
        return  # reached the last page
    # crawl products
    for url in product_urls:
        yield Request(url, self.parse_product)
    # create next page url
    next_page = response.meta.get('page', 0) + 1
    next_url = re.sub('page=\d+', 'page={}'.format(next_page), response.url)
    # now for the next page carry some data in meta
    yield Request(next_url, 
                  meta={'prev_urls': product_urls,
                        'page': next_page}