“无限滚动网页”网络爬虫

Question

我不知道如何抓取无限滚动页面(例如google image)，有没有人可以建议我哪一个"python工具箱“可以做到这一点或例子。

Answer 1

试试selenium for python，它有一个web驱动程序，可以模拟浏览器，这样你就可以滚动页面并加载内容。

Selenium安装页面：https://www.selenium.dev/documentation/en/selenium_installation/installing_selenium_libraries/