使用vpn会中断一次又一次使用相同cookie的python会话请求吗？

Question

我从peoplefinders.com上抓取数据，这是一个无法从我的国家访问的网站，所以我基本上是在使用一个虚拟专用网络客户端。

我用会话帖子登录这个网站，通过同一会话，我从同一网站的不同页面获得项目。问题是，我在一个带有get请求的for循环中进行了抓取，但由于某些原因，我在几次迭代后收到了响应400错误。错误发生在平均抓取4-5页之后。

是不是因为我使用了vpn连接？不是所有来自同一会话的请求都包含相同的cookie，因此允许我在抓取同一网站的不同页面时保持登录吗？

谢谢

Answer 1

如果请求格式错误，则返回HTTP 400。

当您收到错误时，您应该检查正在发出的请求。也许，它没有正确编码。

VPN不应导致HTTP 400。