是否可以停止搜索引擎使用某些querystring参数对页面进行索引

Question

我正在使用asp.net DataPager，并注意到搜索引擎将无法抓取创建的链接，因此我添加了一个查询字符串参数，现在可以看到它可以抓取链接。

我现在遇到的问题是，它现在将以同一页面的多个urls结束。

是否可以停止使用查询字符串参数索引所有页面的搜索引擎，例如：

?pg=

因此，搜索引擎将跟踪这些链接，但不会建立索引：

http://domain.co.uk/news/07-04-2011/bank-of-england-base-rate?pg=3
http://domain.co.uk/news/11-03-2011/client-feedback-from-employee-relocation?pg=6

但将索引：

http://domain.co.uk/news/07-04-2011/bank-of-england-base-rate
http://domain.co.uk/news/11-03-2011/client-feedback-from-employee-relocation

谢谢你的帮助

J.

Answer 1

我非常肯定你可以用robots.txt来实现这一点

使用google，您可以使用网站管理员工具指定要排除的参数。

您还可以捕获用户代理，并在它是机器人时简单地使页面崩溃...