如何阻止googlebot猜测urls参数

Question

当googlebot访问我们的站点时，它似乎试图访问不存在的urls，从而引发异常。url就像http://ourdomain/thepage.aspx/x/8/x/等，在我们的应用程序中没有任何价值。似乎googlebot可以使用哪些参数，因为urls不是来自页面的链接。有什么办法控制这种行为吗？

Answer 1

关于如何修复爬行错误和典型问题的有一篇长篇文章。一些提示可能对您有用(当使用301 HTTP状态代码进行答复时，当使用404状态代码时等等)。

如果该尝试确实来自googlebot，而不是来自外部源通过播放URL获取信息的尝试，那么您应该加倍检查。或者，通过检查是否存在引用，它是否来自外部链接。

这里的情况与无限循环或“无止境”可跟踪链接的情况不同，人们有时在结果页面上看到带有分页的链接。但是你应该修正你的代码来处理“垃圾”参数化的情况。