我的脚本会发送到很多请求吗？

Question

我现在有一个脚本，它通过访问一个网址，然后抓取某一段信息，从网站上抓取数据。我唯一担心的是，由于大约有30,000页要刮，所以服务器可能认为它是DDoS攻击吗？最重要的是，我被建议使用台风宝石的红宝石，以完成它们基本上同时。所以我只是想知道这是否应该可以？

Answer 1

DDoS攻击不能由一台机器执行，因为DDoS意味着分布式拒绝服务。因此，在最坏的情况下，它可以被认为是DoS攻击，这是不可能的，除非您使用大量线程来执行页面调用。

对于默认配置的apache，机器人使用的单个线程甚至都不是问题，因为我认为每个主机的连接限制在10个。通过使用1个线程，您只需要一个接一个地建立连接，因此您甚至无法达到对一个主机的限制。默认情况下，普通浏览器可以通过在接收html文件后下载网页的资产来建立更多的连接。总结一下:不，从view服务器管理员的角度看，您似乎不是攻击者。