浏览器模拟和抓取与风车或selenium，多少个http请求？

Question

我想使用风车或selenium来模拟一个浏览器，它访问一个网站，抓取内容，并在分析完内容后，根据分析结果进行一些操作。

作为一个例子。浏览器访问一个网站，在那里我们可以找到，比如说50个链接。当浏览器仍在运行时，例如，python脚本可以分析找到的链接，并决定浏览器应该点击哪个链接。

我最大的问题是使用风车或selenium可以完成多少个http请求。我的意思是，这两个程序是否可以模拟在浏览器中访问网站并仅通过一个http请求抓取内容，或者当浏览器仍在运行时，它们是否会使用另一个对网站的内部请求来获取链接？

太感谢了！

Answer 1

Selenium使用浏览器，但HTTP请求数不是一个。对于HTML文档中提到的JS、CSS和图像(如果有的话)，将有多个HTTP请求发送到服务器。

如果您使用的是Python，请查看BeautifulSoup。