问使用Beautifulsoup的库的抓取列表
EN

Stack Overflow用户

提问于 2015-11-16 21:04:29

回答 1查看 75关注 0票数 0

我正在尝试使用以下代码从https://www.nypl.org/locations/list中抓取库列表：

req = urllib2.Request('https://www.nypl.org/locations/list', headers={'User-Agent' : "Magic Browser"}) 
library = urllib2.urlopen( req ).read()
soup = BeautifulSoup(library)

然而，soup对象似乎并不包含所有元素，更重要的是列表(即tbody标签)。我需要进行AJAX调用来抓取列表吗？这里我漏掉了什么？

beautifulsoup

python

web-scraping

回答 1

Stack Overflow用户

发布于 2015-11-16 21:18:39

您可以通过直接解析此应用程序用于加载数据的api (即端点)来避免动态内容

https://refinery.nypl.org/api/nypl/locations/v1.0/locations

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/33736104

复制

相似问题

问使用Beautifulsoup的库的抓取列表
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用Beautifulsoup的库的抓取列表EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用Beautifulsoup的库的抓取列表
EN