首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >为什么我不能用漂亮的汤刮?

问为什么我不能用漂亮的汤刮?
EN

Stack Overflow用户
提问于 2019-09-23 19:55:18
回答 3查看 60关注 0票数 0

我需要从这个网站上抓取唯一的表格:https://core.ap.gov.in/CMDashBoard/UserInterface/eAgriculture/eAgricultureVillagewise.aspx?mandal=Agali&district=Anantapuramu

我使用了漂亮的汤和请求,但没有成功。你们能告诉我哪里出错了吗?

代码语言:javascript
复制
mandal_url = "https://core.ap.gov.in/CMDashBoard/UserInterface/eAgriculture/eAgricultureVillagewise.aspx?mandal=Agali&district=Anantapuramu"
r = requests.get(mandal_url, verify=False).content
soup = bs4.BeautifulSoup(r, 'lxml')
df = pd.read_html(str(soup.find('table',{"id":"gvAgricultureVillage"})))

我在数据框中显示“找不到页面”。我不知道我错在哪里了!

EN

回答 3

Stack Overflow用户

发布于 2019-09-23 19:58:57

该页面可能需要某种形式的登录。通过单击链接我自己查看它,我得到

。

您需要将cookie/其他一些头文件添加到请求中,才能显示为“已登录”。

票数 0
EN

Stack Overflow用户

发布于 2019-09-23 19:59:43

尝试单击要从无效链接中抓取的链接。当我单击您提供的链接或您存储在mandal_url中的链接时,两者都会返回一个“找不到页面”页面。所以你是以正确的方式抓取的,但是你提供给抓取器的url是无效的/不再向上。

票数 0
EN

Stack Overflow用户

发布于 2019-09-23 20:36:49

我无法访问这个网站。但您可以使用以下命令直接阅读网页上的表单:

代码语言:javascript
复制
dfs = pd.read_html(your_url, header=0) 

在url需要身份验证的情况下,可以通过以下方式获取表单:

代码语言:javascript
复制
r = requests.get(url_need_authentivation, auth=('myuser', 'mypasswd'))
pd.read_html(r.text, header=0)[1]

这将简化您的代码。希望它能帮上忙!

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/58061920

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档