Googlebot和Bingbot爬行DNN站点

Question

我有一个超过20,000页的DNN网站。Googlebot和Bingbot一直在爬行我的网站。

当我查看我的站点日志时，我可以看到google和bing正在通过页面I爬行我的站点(例如: www.url.com/Default.aspx?TabID=5000)

这些机器人每分钟都在攻击我的网站。当我添加新页面时，我希望机器人爬行新添加的页面，但我看到机器人重新爬行非常旧的页面，并需要几个小时才能识别新添加的页面。

我有一个包含10,000多个条目的robot.txt文件，这些条目具有以下定义：

禁止:/Default.aspx?TabID=5000

禁止:/Default.aspx?TabID=5001

禁止:/Default.aspx?TabID=5002

以此类推。

所以我注意到了几个问题：

1- Googlebot和Bingbot忽略了我的不允许，并且正在重新搜索我在robots.txt中定义的页面-机器人如何知道使用TabID返回并重新搜索旧页面？

2-我仍然注意到，当我添加一个新页面时，两个机器人都在忙于抓取旧内容，而不是立即阅读我的新内容，有没有办法迫使Google和Bing机器人总是先阅读新添加的页面？

提前感谢您的任何建议。

Answer 1

如果您转到http://URL.com/sitemap.aspx，请查看那里列出了哪些页面。

我强烈建议升级到DNN 7，因为你可以控制哪些页面显示在网站地图上，这可能有助于你控制你的索引问题。

更新:在Admin菜单下，如果您找到搜索引擎站点地图页面，您可以设置站点地图中包含的最低页面优先级。然后，对于您不想显示的页面，您可以在页面设置中修改它们的优先级。