如何防止Googlebot-Mobile复制索引？

Question

我只有一个版本的我的网站，它是优化的桌面和智能手机。

我注意到Google准确地抓取每一页两次:一次用Googlebot/2.1，另一次用Googlebot-Mobile/2.1：

% fgrep "/www/drupal6/filefield " /var/www/logs/ports.su/ports.su.access.log
66.249.76.223 - - [12/Mar/2013:07:46:42 -0700] "GET /www/drupal6/filefield HTTP/1.1" 200 2365 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.76.223 - - [12/Mar/2013:13:59:23 -0700] "GET /www/drupal6/filefield HTTP/1.1" 200 2365 "-" "DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)"

我不认为在/robots.txt中阻止这两个机器人是合适的，因为它可能会将我的站点从它们各自的索引中删除。

然而，他们不也分享他们的指数吗？

我如何告诉谷歌，我只有一个网站？

在寻找与Vary: User-Agent.

相反的东西

Answer 1

，您已经告诉他们了，因为您有一个站点使用了一组URL.

他们访问两次，因为每个机器人的评估不同。最后，它在相同的索引，但元数据是不同的，让他们服务不同的结果，标准和移动查询。

Answer 2

拥有Googlebot/2.1和Googlebot-Mobile/2.1是一件好事，您也不应该阻止。

值得注意的是，当在手机上查看谷歌搜索结果时，它们往往与桌面谷歌搜索有所不同，因为谷歌喜欢在手机上查看的网站。当人们在手机上使用谷歌搜索时，屏蔽Googlebot-Mobile/2.1可能会阻止人们找到你的网站。