如何在python中使用selenium或scrapy点击“下一步”按钮

Question

我正在尝试使用scrapy从flipkart.com中抓取一些数据。除了翻到下一页，我什么都拿到了。首先，我尝试使用scrapy，然后使用selenium。实际上，一个类有上一页和下一页的两个链接。

使用scrapy:我无法获取任何结果。我得到的是空白输出。

使用selenium:每当我尝试点击下一页时，从第一页到第二页都可以正常工作。但是然后不是转到第三页，而是返回到第二页。

有没有其他方法可以做到这一点？我应该如何区分上一页和下一页的URL？

Answer 1

只需附加-1，以便驱动程序仅获取flipkart的给定class/id的最后一次出现的结果

driver.find_elements_by_xpath('//a[@class="_1LKTO3"]')[-1].click()