我们试图使用Stormcrawler抓取我们知道的每个站点的索引页面--礼貌地忽略任何robots.txt告诉我们不要这样做的地方。我们有一个域名数据库-大约250m -我们正在使用它作为一个开始。我们的想法是,我们每周爬行一次。
我们收到了来自我们的服务器提供商的许多警告
目前,我们的爬虫试图转到一个域名-例如abc123.com -当我们这样做时,域名没有解析,这会被“标记”。显然,有许多域名无法解析并指向相同的IP地址,因此,当我们尝试访问大量不起作用的域名时,我们认为这会导致我们的提供商向我们发送警报。
我们的计划是在第一次爬行后,我们将识别不起作用的域名,我们只会每月爬行这些域名,看看它们是否已经变得活跃,但任何帮助都将不胜感激。我也为自己的天真而道歉,因此任何帮助/指导都将不胜感激。
发布于 2021-02-22 01:00:17
来自服务器提供商的警报可能是在DNS解析期间触发的。您的机器上使用的是什么DNS服务器?他们可能是你的供应商,你有没有尝试过使用不同的,例如OpenDNS或谷歌的?它们甚至可能比你目前使用的更快。我还建议在您的服务器上使用DNS缓存。
https://stackoverflow.com/questions/66303882
复制相似问题