无需打开浏览器即可抓取网站数据(python)

Question

我想通过网页中的搜索按钮迭代地搜索30+项目，并抓取相关数据。

我的搜索项目存储在一个列表中: vol_list

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
driver = webdriver.Chrome("driver path")
driver.get("web url")

for item in vol_list :
mc_search_box = driver.find_element_by_name("search_str")
mc_search_box.clear()
search_box.send_keys(item)
search_box.send_keys(Keys.RETURN)

搜索完成后，我将继续抓取每个项目的数据，并将其存储在数组/列表中。有没有可能在不打开浏览器的情况下对循环中的每个项目重复此过程？

Answer 1

如果不打开chrome和其他浏览器，就无法使用它。

在您的例子中，无头浏览器应该可以完成这项工作。无头浏览器模拟浏览器，但没有GUI。

尝试使用ghost driver/ html unit driver/ NodeJS。然后，您至少必须使用要使用的驱动程序修改此行：

driver = webdriver.Chrome("driver path")

祝好运!