我想运行一个爬虫程序,可以在没有X服务器的环境中处理javascript创建的html。我知道我可以在xvfb下以无头状态运行火狐,我还知道如何在火狐上安装MozRepl,当我有了实际的浏览器并可以下载和设置模块时,我知道如何使用WWW::Mechanize与它进行交互。
我不知道如何在没有X服务器的火狐环境中安装MozRepl,以方便我安装模块。任何帮助都是非常感谢的。
发布于 2011-10-25 02:26:11
根据你想使用的语言,无头html+javascript有很多选择(主要归功于谷歌在Chrome浏览器中使用的新玩具Node.js ),但不幸的是,据我所知没有一个是基于火狐的--有crowbar,但它自2008年以来似乎就没有更新过。
由于firefox已经开始将gecko与浏览器前端更紧密地集成在一起,基于firefox的此类软件变得不太可行。
关于node.js,我对Perl产品了解不多,但这里有一些其他的:
此外,还有一些非节点选项:
我相信还有一个到node.js的python接口(尽管如果它实现了浏览器环境,我不知道),而且在perl空间中可能也有关于node的工作。
https://stackoverflow.com/questions/7872095
复制相似问题