我正在使用机械化从许多网站检索数据。当我尝试登录www.douban.com时,我发现当我成功登录时,有很多cookies没有设置。最后,我发现它们来自谷歌分析。它们是由javascript设置的。但是,mechanize不能处理javascript,那么如何获取这些cookie呢?没有这些cookies,我仍然无法访问www.douban.com。
发布于 2012-02-25 00:02:05
PhantomJS是一个基于webkit的无头客户端,支持包括JavaScript在内的所有功能。它有Python API (PyPhantomJS),不幸的是由于缺乏维护者而被移除。你可能还想看一看。
发布于 2012-02-24 23:45:23
很抱歉这么说,但除非您的爬虫知道如何运行Javascript代码,否则您无法获取由Javascript设置的cookie。
https://stackoverflow.com/questions/9433262
复制相似问题