首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >网络抓取基于javascript的网站

问网络抓取基于javascript的网站
EN

Stack Overflow用户
提问于 2009-09-15 12:41:05
回答 5查看 327关注 0票数 1

有很多工具可以在javascript关闭的情况下抓取HTML页面,但是有没有什么工具可以在javascript打开的情况下抓取页面,包括按下javascript回调按钮?

我目前正在尝试抓取一个单独通过javascript调用导航的站点。所有指向内容的按钮都在看不到href的情况下执行javascript。我可以对javascript调用进行反向工程(部分返回HTML),但这需要一些时间,有什么捷径吗?

EN

回答 5

Stack Overflow用户

回答已采纳

发布于 2009-09-15 13:41:00

我使用的是htmlunit,通常包装在JRuby这样的基于Java的脚本语言中。HtmlUnit非常棒,因为它的JavaScript引擎在幕后处理所有的动态功能,包括AJAX。很容易被刮掉。

票数 2
EN

Stack Overflow用户

发布于 2009-09-15 12:56:21

你试过使用scRubyIt吗?我不是百分之百确定,但我想我用它来抓取somo动态网站。

它有一些有用的方法,比如

代码语言:javascript
复制
click_link_and_wait 'Get results', 5
票数 1
EN

Stack Overflow用户

发布于 2009-09-15 13:00:54

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/1426948

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档