网络爬虫从哪里获取要抓取的站点列表？

Question

我知道搜索引擎为向用户提供搜索结果而采取的所有基本步骤，但有一件事我不明白，那就是要抓取的站点列表的物理编译。像googlebot这样的程序如何获得他们将搜索的网站的实际列表？

Answer 1

这可能会因爬虫程序的不同而有所不同，但最有可能的起点是域注册。

Answer 2

像谷歌这样的搜索引擎通常是通过从其他网站上发现新内容来获得新内容的。

例如，如果你有一个已经被抓取的网站，并且链接到一个新网站。当Google访问你的站点并看到新站点时，它也会开始索引新站点。

从另一方面来说，你也可以用新的网站建立索引，所以它不仅是被动的，也是主动的。