我需要从这个网站上抓取唯一的表格:https://core.ap.gov.in/CMDashBoard/UserInterface/eAgriculture/eAgricultureVillagewise.aspx?mandal=Agali&district=Anantapuramu
我使用了漂亮的汤和请求,但没有成功。你们能告诉我哪里出错了吗?
mandal_url = "https://core.ap.gov.in/CMDashBoard/UserInterface/eAgriculture/eAgricultureVillagewise.aspx?mandal=Agali&district=Anantapuramu"
r = requests.get(mandal_url, verify=False).content
soup = bs4.BeautifulSoup(r, 'lxml')
df = pd.read_html(str(soup.find('table',{"id":"gvAgricultureVillage"})))我在数据框中显示“找不到页面”。我不知道我错在哪里了!
发布于 2019-09-23 19:58:57
该页面可能需要某种形式的登录。通过单击链接我自己查看它,我得到

。
您需要将cookie/其他一些头文件添加到请求中,才能显示为“已登录”。
发布于 2019-09-23 19:59:43
尝试单击要从无效链接中抓取的链接。当我单击您提供的链接或您存储在mandal_url中的链接时,两者都会返回一个“找不到页面”页面。所以你是以正确的方式抓取的,但是你提供给抓取器的url是无效的/不再向上。
发布于 2019-09-23 20:36:49
我无法访问这个网站。但您可以使用以下命令直接阅读网页上的表单:
dfs = pd.read_html(your_url, header=0) 在url需要身份验证的情况下,可以通过以下方式获取表单:
r = requests.get(url_need_authentivation, auth=('myuser', 'mypasswd'))
pd.read_html(r.text, header=0)[1]这将简化您的代码。希望它能帮上忙!
https://stackoverflow.com/questions/58061920
复制相似问题