问请求搜索引擎不要重新索引未更改的页面。
EN

Stack Overflow用户

提问于 2016-02-17 09:22:17

回答 1查看 18关注 0票数 0

我想减少搜索引擎爬虫造成的负载，在站点地图中标记已经编入索引且未更改的页面。

这将减少大约95%的超过200万页，是重新索引，每次在我们的网站。

我在google站点地图文档中没有找到这样的选项。我认为搜索引擎想要重新索引每一个页面，即使网站说它没有改变，因为它不会盲目地信任网站提供准确的信息。

回答已采纳

发布于 2016-02-18 15:06:11

Sitemaps协议定义了三个XML元素，搜索引擎可以(而不是必须)使用这些XML元素来决定何时或多久爬行哪些文档：

(站长SE可能有助于了解是否或哪些搜索引擎以哪种方式支持这些内容。)

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/35452489

复制

相似问题

问请求搜索引擎不要重新索引未更改的页面。EN