我正在抓取一个网页来收集一份财富500强公司的名单。但是,当我运行这段代码时,BeautifulSoup找不到<div class="rt-tr-group" role="rowgroup">标记。
import requests
from bs4 import BeautifulSoup
url = r'https://fortune.com/fortune500/2019/search/'
page = requests.get(url)
soup = BeautifulSoup(page.content, 'lxml')
data = soup.find_all('div', {'class': 'rt-tr-group'})相反,我只得到一个空的列表。我尝试更改解析器,但没有看到任何结果。
标签存在,并且可以在here中看到
发布于 2020-07-03 01:43:44
一段时间后,使用JS将数据加载到该页面上。使用Selenium,您可以等待页面完全加载,或者尝试从Javascript获取数据。
附注:您可以检查XHR请求,并尝试获取JSON,而无需解析。Here is one request
发布于 2020-07-03 01:47:05
使用JS加载解析页面的内容,使用requests.get可以得到空页面。
https://stackoverflow.com/questions/62702092
复制相似问题