文章/答案/技术大牛

发布

社区首页 >问答首页 >为什么在将我的工作爬虫部署到云平台后，它现在只得到了400个响应？

问为什么在将我的工作爬虫部署到云平台后，它现在只得到了400个响应？
EN

Stack Overflow用户

提问于 2020-05-04 03:33:30

回答 1查看 36关注 0票数 0

我使用scrapyd将我的爬虫部署到云平台。爬虫在本地计算机上工作正常。但是现在它只能得到http 400的响应。它被禁止了吗？还是硬件无法处理频繁的请求？我用的是最低规格的。

通常，在我的本地计算机上，响应是http 200状态。

以下是调试日志：

2020-05-04 04:04:31 scrapy.core.engine调试: Crawled (400) https://website I scrape.com> (推荐人：https://website I scrape.com&_ac=1)

发布于 2020-05-04 03:41:08

最有可能的情况是，该网站阻止了来自云提供商ip地址的流量。您仍然可以绕过这一点，但您必须使用代理。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/61580506

复制

相似问题

问为什么在将我的工作爬虫部署到云平台后，它现在只得到了400个响应？EN