如何在Scrapy中修复403响应

Question

http://prntscr.com/o56670

请查看截图

我正在使用python 3并在我的终端上使用scrapy。

fetch("https://angel.co/adil-wali")

当请求链接时，它以403响应。

所以我已经改变和轮换了用户代理和机器人，但仍然显示403响应，所以这次我购买了爬虫计划，但爬虫仍然说523响应

您知道为什么在scrapy shell中请求返回403而不是200响应吗？

Answer 1

尝试向您的请求添加标头：

fetch(
    "https://angel.co/adil-wali", 
    headers={
        "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3",
        "accept-language": "en-US,en;q=0.9,ru-RU;q=0.8,ru;q=0.7",
        "cache-control": "no-cache",
        "pragma": "no-cache",
        "upgrade-insecure-requests": "1"
    }
)

使用这种方法，我能够从提到的URL获得响应200。