下一页的Xpath - Scrapy

Question

我正在使用Scrapy抓取沃尔玛网站，我正在尝试一个类别，但我无法确定下一页的xpath。这是我的资料，有人能帮帮忙吗？

response.xpath('//*[@class="paginator outline"]/ul/li/a/@href')

要检查的沃尔玛网址：https://www.walmart.com/browse/electronics/tvs/3944_1060825_447913

Answer 1

该过程是在活动页面链接之后查找<li>标记。活动页面链接是使用//*[@class="active"]找到的，因此您必须查找此特定活动<li>相对于所有实际<li>标记的索引。要查找所有的<li>标记，请使用这个xpath //*[@class="paginator-list"]/li。正如您在aria-label类中看到的，它将显示“Page x of y selected”。x将是索引，因此您只能搜索x+1页面。

要查找<li>或aria-label类中的值，需要使用.text()和.extract()函数。

这将会起作用

Answer 2

我尝试使用paginator list://*@class="paginator-list"/li提取所有li页面标记。我没有得到任何结果。当我试图提取所有的div id标签时，这个带有分页器“midas- show container -midas 1”的容器没有出现。不确定我错过了什么。