如何从多个国家抓取一个网站？

Question

我在美国，正在对一个网站做一些轻量级的爬行，根据访问的国家提供不同的版本。

从多个国家爬行的最好方法是什么？有没有代理服务可以让我路由我的http请求？或者，我是否需要在每个国家/地区租用轻量级VM并安装自己的代理服务器？

Answer 1

好的，我使用这个curl，如果你的主要编程语言是php，你可以在你的服务器上这样做：

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_PROXY, '195.175.37.72:80')
echo curl_exec($ch);

在互联网上，很多免费的代理服务器都在使用谷歌。有些人让你用代理赚钱，但他们的服务更好。当然，你可以在其他国家购买机器，但我这样做更便宜，也更容易。

Answer 2

你可以使用像www.hidemyass.com这样的免费web代理--但不要对它期望太高。

也有一些免费和公开的代理，只需使用您选择的搜索引擎来查找它们。(或查看此处http://www.hidemyass.com/proxy-list/)

或者使用TOR (尽管我不确定是否可以选择特定的退出节点)。

如果您真的考虑租用VM，您也可以使用专业的代理服务(这意味着更多带宽等)