有很多工具可以在javascript关闭的情况下抓取HTML页面,但是有没有什么工具可以在javascript打开的情况下抓取页面,包括按下javascript回调按钮?
我目前正在尝试抓取一个单独通过javascript调用导航的站点。所有指向内容的按钮都在看不到href的情况下执行javascript。我可以对javascript调用进行反向工程(部分返回HTML),但这需要一些时间,有什么捷径吗?
发布于 2009-09-15 13:41:00
我使用的是htmlunit,通常包装在JRuby这样的基于Java的脚本语言中。HtmlUnit非常棒,因为它的JavaScript引擎在幕后处理所有的动态功能,包括AJAX。很容易被刮掉。
发布于 2009-09-15 12:56:21
发布于 2009-09-15 13:00:54
https://stackoverflow.com/questions/1426948
复制相似问题