开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >爬虫/搜索引擎是如何遍历网页的？

问爬虫/搜索引擎是如何遍历网页的？
EN

Stack Overflow用户

提问于 2012-06-23 04:14:10

回答 1查看 385关注 0票数 0

商业搜索引擎的爬虫是如何遍历web的：“识别种子页面并通过连接的链接找到其他页面”或“索引网站wwwroot目录下的每个文件”。

在后一种情况下，搜索引擎甚至应该有索引的东西，这些东西没有被任何其他页面引用？

google-crawlers

EN

回答 1

Stack Overflow用户

发布于 2012-06-23 04:23:03

引用必须存在。它可以是

对于网站管理员在其搜索引擎backoffice

etc.

中提供的indexation

link，允许在sitemaps.xml中使用
常规HTML href在sitemaps.xml中使用
链接robots.txt中允许使用HTML href

它可能是任何其他的链接。

票数 1

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/11163454

复制

相似问题