我们有一个Perl脚本,它模拟浏览器,使用LWP::UserAgent登录到网站并下载一些数据。最近,该网站进行了更改,因此您必须启用JavaScript才能登录。我们如何知道网站正在做什么来确定是否启用了JavaScript,和/或我们如何使用LWP::UserAgent欺骗网站,使其认为自己是支持JavaScript的浏览器?
发布于 2011-05-14 02:46:01
大多数网站只有在需要javascript才能成功登录的情况下才需要启用javascript。他们可能会使用javascript来设置cookie或在表单中显示日志。也许登录是使用XMLHTTPRequest完成的。在大多数情况下,你不能欺骗它;你实际上需要一个支持javascript的浏览器。获取一个可嵌入版本的webkit或其他东西。
发布于 2011-05-15 12:57:15
事实证明,我们看到的问题不是all...it上的Perl脚本的问题,而是配置文件中的错误。
在研究这个问题时,有人提出了一个很棒的工具,叫做wsp Web抓取代理。这是一个很好的建议,可以找出服务器和浏览器之间到底发生了什么。
感谢您抽出时间来回答这个问题。
https://stackoverflow.com/questions/5996276
复制相似问题