首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >刮刮分页使用javascript

问刮刮分页使用javascript
EN

Stack Overflow用户
提问于 2013-12-05 14:06:17
回答 1查看 1.2K关注 0票数 0

我有一个3层的站点,我想从第2层和第3层抓取和解析链接,问题是在第2层有一个javascript分页,它为每个页面提供不同的链接(总共5页)。

示例:第1级:主菜单(我使用SgmlLinkExtractor catid=22767提取类别的链接)第2级:有我想解析的链接,但也有javascript分页,我需要从其中提取其余的链接(即catid=22767&page1=2)第3级:对于上述步骤的每个链接,我想解析响应。

站点是(http://www.ethnos.gr/) level2 is (summary.asp?catid=22768) level3是我想解析的文章页面

问题是:对于从第一级提取的每一个链接,我如何创建一个循环并构造所有5个链接,然后使用第二级的SgmlLinkExtractor来跟踪这些链接?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2013-12-05 14:37:48

对此有两个答案:

  1. 通常,网站提供其站点的可爬行版本,或者您可以实现sitemap。
  2. 您可以使用像硒这样的东西,它在浏览器中呈现页面,这样就可以启用JavaScript,并且您可以像用户一样使用它,并且仍然会刮它。

确保您以伦理性的方式进行抓取,以避免站点超载:)

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/20402110

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档