我正在尝试用Python和Beautiful Soup从网页上的一个表格中收集一些数据。然而,当我从页面中进行选择时,我得到的结果与在浏览器中得到的结果不同。具体地说,这些表完全缺失。以下是Firefox开发工具检查器中表格的屏幕截图:

这是我从Beautiful Soup得到的输出:

我尝试过使用urllib而不是request,也尝试过使用不同的超文本标记语言解析器(html.parser和lxml)。所有的结果都是一样的。关于这里可能发生的事情以及我如何绕过它来访问表中的数据,有什么建议吗?
import requests
from bs4 import BeautifulSoup
import pandas
import tabula
import html5lib
knox = requests.get("https://covid.knoxcountytn.gov/case-count.html")
knox_soup = BeautifulSoup(knox.text, 'html5lib')
knox_confirmed = knox_soup.find('div', id='covid_cases').prettify()
print(knox_confirmed)发布于 2020-04-25 06:14:22
当您访问https://covid.knoxcountytn.gov/case-count.html时,尝试禁用javascript,您将看不到任何表格。正如@barny所说的,表格是用How to call JavaScript function using BeautifulSoup and Python生成的,所以你不能用javascript解析它(至少不容易,参见javascript)。
发布于 2020-04-25 08:09:47
网站是通过JavaScript加载的,所以您不能使用requestes为您呈现JS。您可以使用selenium或requests_html等。
到目前为止,我已经能够跟踪数据是从哪里获取的。通过检查是否产生了XHR流量。
因此,我们可以按如下方式使用pandas.read_csv():
import pandas as pd
df = pd.read_csv("https://covid.knoxcountytn.gov/includes/covid_cases.csv")
print(df)

https://stackoverflow.com/questions/61417750
复制相似问题