首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >BeautifulSoup找不到标签

问BeautifulSoup找不到标签
EN

Stack Overflow用户
提问于 2020-07-03 01:36:54
回答 2查看 47关注 0票数 0

我正在抓取一个网页来收集一份财富500强公司的名单。但是,当我运行这段代码时,BeautifulSoup找不到<div class="rt-tr-group" role="rowgroup">标记。

代码语言:javascript
复制
import requests
from bs4 import BeautifulSoup

url = r'https://fortune.com/fortune500/2019/search/'
page = requests.get(url)
soup = BeautifulSoup(page.content, 'lxml')

data = soup.find_all('div', {'class': 'rt-tr-group'})

相反,我只得到一个空的列表。我尝试更改解析器,但没有看到任何结果。

标签存在,并且可以在here中看到

EN

回答 2

Stack Overflow用户

发布于 2020-07-03 01:43:44

一段时间后,使用JS将数据加载到该页面上。使用Selenium,您可以等待页面完全加载,或者尝试从Javascript获取数据。

附注:您可以检查XHR请求,并尝试获取JSON,而无需解析。Here is one request

票数 1
EN

Stack Overflow用户

发布于 2020-07-03 01:47:05

使用JS加载解析页面的内容,使用requests.get可以得到空页面。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/62702092

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档