有没有可能使用像crawlera这样的代理旋转器来处理google趋势？

Question

既然google趋势需要你登录，我还能使用IP旋转器如crawlera下载csv文件吗？如果是这样的话，有没有使用python的示例代码(即python + crawlera在google上下载文件)。

提前谢谢。

Answer 1

没有人会为你写代码。

但我可以留下一些评论，因为我在过去的几个月里一直在使用Crawlera代理。

有了crawlera，你可以每次都用新的IP抓取Google Trends，甚至你每次都可以使用相同的IP (在crawlera中称为会话管理)。

你可以随你的请求一起发送一个头'X-Crawlera-Session':'create'，Crawlera会在它们的一端创建一个会话，作为响应，它们会返回'X-Crawlera-Session': ['123123123']……如果你认为你没有被谷歌屏蔽，

您可以将'X-Crawlera-Session': '123123123'与您的每个请求一起发送，以便Crawlera每次都使用相同的IP。

Answer 2

在文档中有使用多种语言的代码示例。有关https://doc.scrapinghub.com/crawlera.html#python示例，请参见Python。

Answer 3

是的，可以使用Crawlera以及其他代理apis，如https://gimmeproxy.com。它提供了谷歌代理，这可能会为你工作。