首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >美汤找不到桌子

问美汤找不到桌子
EN

Stack Overflow用户
提问于 2020-04-25 05:30:12
回答 2查看 209关注 0票数 0

我正在尝试用Python和Beautiful Soup从网页上的一个表格中收集一些数据。然而,当我从页面中进行选择时,我得到的结果与在浏览器中得到的结果不同。具体地说,这些表完全缺失。以下是Firefox开发工具检查器中表格的屏幕截图:

​

​

这是我从Beautiful Soup得到的输出:

​

​

我尝试过使用urllib而不是request,也尝试过使用不同的超文本标记语言解析器(html.parser和lxml)。所有的结果都是一样的。关于这里可能发生的事情以及我如何绕过它来访问表中的数据,有什么建议吗?

代码语言:javascript
复制
import requests
from bs4 import BeautifulSoup
import pandas
import tabula
import html5lib

knox = requests.get("https://covid.knoxcountytn.gov/case-count.html")
knox_soup = BeautifulSoup(knox.text, 'html5lib')
knox_confirmed = knox_soup.find('div', id='covid_cases').prettify()

print(knox_confirmed)
EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2020-04-25 06:14:22

当您访问https://covid.knoxcountytn.gov/case-count.html时,尝试禁用javascript,您将看不到任何表格。正如@barny所说的,表格是用How to call JavaScript function using BeautifulSoup and Python生成的,所以你不能用javascript解析它(至少不容易,参见javascript)。

票数 1
EN

Stack Overflow用户

发布于 2020-04-25 08:09:47

网站是通过JavaScript加载的,所以您不能使用requestes为您呈现JS。您可以使用selenium或requests_html等。

到目前为止,我已经能够跟踪数据是从哪里获取的。通过检查是否产生了XHR流量。

因此,我们可以按如下方式使用pandas.read_csv():

代码语言:javascript
复制
import pandas as pd

df = pd.read_csv("https://covid.knoxcountytn.gov/includes/covid_cases.csv")

print(df)

​

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/61417750

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档