我正在尝试使用scraping为耐克运动鞋巴西网站(nike.com.br/snkrs)制作一个运动鞋机器人。首先,我试着做一个蜘蛛来登录网站,我看到网络上有一些登录请求,所以我试着发送我认为需要的请求。
下面是爬虫的完整代码:
<https://pastebin.com/Xke6kP1P>但是,当我尝试爬行爬虫进行测试时,我得到了一些http请求错误,比如400 Bad Request、401POST HTTP request not handle或allowed或403 allowed。以下是完整的错误代码:
<https://pastebin.com/ge9pr6qx>我已经在使用代理ip和用户代理轮换中间件,但仍然收到这些错误。
发布于 2020-09-11 05:49:11
你因为你的_abck cookie而被禁止使用403。
https://stackoverflow.com/questions/62110179
复制相似问题