首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >使用python从隐藏了数据的HTML中提取标签

问使用python从隐藏了数据的HTML中提取标签
EN

Stack Overflow用户
提问于 2017-08-23 00:06:31
回答 1查看 538关注 0票数 0

我正试着从不同的网页上学习抓取。我尝试从包含选项卡的页面中抓取数据,如下所示:

代码语言:javascript
复制
url = "https://www.bc.edu/bc-web/schools/mcas/departments/art/people/#par-bc_tabbed_content-tab-0"
page = requests.get(url)
content = page.content
tree = html.fromstring(page.content)
soup = BeautifulSoup(content,"html.parser")
p = soup.find_all('div',{"id":'e6bde0e9_358d_4966_8fde_be96e9dcad0b'})
print p

这将返回空结果,尽管检查元素会显示内容,但源页面不会显示此数据。任何关于如何提取内容的指示。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-08-23 00:14:54

这是因为javascript渲染,这意味着你想要的数据不是来自原始请求,而是由该响应的javascript生成的请求。

要检查原始请求生成的所有请求,您必须在Chrome中使用类似于developer tools的东西。

对于这种特殊情况,您需要的实际请求是对此site的请求,它将为您提供所需的信息。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/45822448

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档