如何使用selenium python自动分页？(无需手动选择next按钮)

Question

我正在抓取图像的网站列表，使用selenium webdriver+scrapy，但每个网站的下一步按钮都有不同的类/div名称，如何自动查找不同网站中的下一页进行抓取？

Answer 1

下面是最基本的分页结构：

page_count = 1
while (nextbutton.isEnbled):
# Increase page_count value on each iteration on +1
page_count += 1
try:
    nextbutton.click()
except NoSuchElementException:
    # Stop loop if no more page available
    break