文章/答案/技术大牛

发布

社区首页 >问答首页 >Scrapy访问被拒绝爬取网站的头部

问Scrapy访问被拒绝爬取网站的头部
EN

Stack Overflow用户

提问于 2020-07-14 17:37:09

回答 1查看 391关注 0票数 1

我想抓取一个网站，但我得到了下一个错误：

'<head>\n<title>Access Denied</title>\n</head>'

我只是在控制台中尝试：

scrapy shell https://www.zara.com/es/en/
response.css("head").get()

我做错了什么？与User-Agent有关？网站有没有防爬虫的方法？如何抓取这个网站？

回答已采纳

发布于 2020-07-14 18:52:21

在settings.py中设置USER_AGENT = 'zara (+http://www.yourdomain.com)'。解决了问题。如果你喜欢，你也可以放入你自己的用户代理。

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/62892196

复制

相似问题

问Scrapy访问被拒绝爬取网站的头部EN