抓取爬虫的要求被阻止了。使用请求库的请求可以正常访问。理由是什么呢？

Question

使用scrapy框架，我制定了以下策略：

1. 随机用户代理
2. 代理IP池
3. 最多15秒下载间隔，以及随机请求间隔
4. 禁用cookie
5. 将并发设置为8

但是它不起作用，因为第一个请求的响应代码是500，其他请求的响应代码是500。

然后我尝试使用requests

1. 使用相同的代理池，
2. 随机用户代理
3. 并发性为12

使用请求库是正常的。它的响应代码是200。

这是什么原因？

Answer 1

有许多客户端库/ web产品可以阻止来自web抓取库的收入请求。

通常，这些工具检查由这些刮板库发送的通用请求头，因此，重复检查它们的存在可能是有用的。

网站如何阻止网络爬虫