IP地理定位与Googlebot

Question

对于基于用户IP地址显示城市附近事件的站点，应该如何处理Googlebot (或其他爬虫)？该网站有许多不同的网页，其中大多数使用基于位置的内容。

根据这一点，对待Googlebot与普通用户的区别在于：

http://googlewebmastercentral.blogspot.com/2008/06/how-google-defines-ip-delivery.html

将Googlebot视为常规用户的问题是，只有山景城中的事件才会被编入索引。(请注意，更改用户在站点上的位置不是由导航链接执行的，而是通过位置自动完成功能执行的，但也有一个“所有位置”链接)。

如果网站上有“所有位置”链接，谷歌会浏览该链接并索引该设置下的所有页面吗？这会导致重复的内容吗？

什么是最好的解决方案？

Answer 1

唯一的问题可能发生在你身上：

如果来自给定IP的bot获得不同(不完全相同)的内容，作为人类用户，谁来自同一个IP。

Google通过不同的用户代理爬行，并且在实现这种行为方面相当先进。这个星座被称为隐身，违反了谷歌网站管理员的指导方针。

但是只要你不依赖于用户代理，而只依赖于IP --没有什么，这可能会带来麻烦。