搜索引擎如何在互联网上查找网站

Question

我将编写一个Web解析器(一个在web上从一个站点爬行到另一个站点的应用程序)。

如何在internet中找到可用域名/I列表(尽可能完整)？

搜索引擎如何查找网站(作为起点的已注册IP/域名的可靠列表)？

谢谢

Answer 1

正如Michael P的评论所指出的，这取决于你的目标是什么。

我的公司最近想回答一个关于领先网站上使用的第三方工具的问题。我使用Alexa作为查找排名靠前(根据流量)的网站的起点，并创建了一个解析器，可以回答我公司提出的特定问题。如果您从这样的列表开始，您可以编写您的web爬虫程序，以跟踪它遇到的链接，以拓宽您对web上的站点的了解。

希望这能帮助你思考这个问题。