首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何防止我们的服务器公司出现问题

问如何防止我们的服务器公司出现问题
EN

Stack Overflow用户
提问于 2021-02-21 23:25:22
回答 1查看 22关注 0票数 0

我们试图使用Stormcrawler抓取我们知道的每个站点的索引页面--礼貌地忽略任何robots.txt告诉我们不要这样做的地方。我们有一个域名数据库-大约250m -我们正在使用它作为一个开始。我们的想法是,我们每周爬行一次。

我们收到了来自我们的服务器提供商的许多警告

目前,我们的爬虫试图转到一个域名-例如abc123.com -当我们这样做时,域名没有解析,这会被“标记”。显然,有许多域名无法解析并指向相同的IP地址,因此,当我们尝试访问大量不起作用的域名时,我们认为这会导致我们的提供商向我们发送警报。

我们的计划是在第一次爬行后,我们将识别不起作用的域名,我们只会每月爬行这些域名,看看它们是否已经变得活跃,但任何帮助都将不胜感激。我也为自己的天真而道歉,因此任何帮助/指导都将不胜感激。

EN

回答 1

Stack Overflow用户

发布于 2021-02-22 01:00:17

来自服务器提供商的警报可能是在DNS解析期间触发的。您的机器上使用的是什么DNS服务器?他们可能是你的供应商,你有没有尝试过使用不同的,例如OpenDNS或谷歌的?它们甚至可能比你目前使用的更快。我还建议在您的服务器上使用DNS缓存。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/66303882

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档