如何抓取托管在其他国家/地区服务器上的网站？

Question

我正在创建一个使用python (beautifulsoup4)的网络抓取器。我想获取" hackerearth“网站的内容，但由于我在heroku (美国服务器)上托管了我的网络爬虫，所以它是在污染美国版本的hackerearth，而不是基于我的国家的版本。所以我想获取基于我的国家的网站版本。

url = "https://www.hackerearth.com/challenges/"
r = requests.get(url)

Answer 1

网站/网络服务器通过标头(例如Content-Language、Accept-Language)或客户端的IP地址来检测您(或您的机器人)的语言/国家

Header可以很容易地被faked。为了伪造客户的IP地址，你需要一个这个国家的代理。

Answer 2

您应该添加编辑后的cookie，如下所示。

cookies ={'aep_usuc_f':'region=US&site=glo&b_locale=en_US&c_tp=USD'}
url = "https://www.hackerearth.com/challenges/"
s = requests.Session()
r = s.get(url, cookies=cookies)

让我知道结果。