网站地图不足

Question

我正在使用concrete5作为我的网站的内容管理系统。我收到一条来自谷歌搜索控制台的消息：“当我们测试您的网站地图中的URL样本时，我们发现网站的robots.txt文件阻止了对某些URL的访问。如果您不打算阻止网站地图中包含的一些URL，请使用我们的robots.txt分析工具来验证您在网站地图中提交的URL是否可以被谷歌机器人访问。所有可访问的URL仍将被提交。”当我调查我的sitemap，我的网站域/sitemap.xml时，我发现它都包含管理链接，而不是用户的网站页面的URL。我从自动作业中生成了一个新的站点地图，并清除了缓存，但问题仍然存在。我正在使用cdn生成urls，我能做些什么来解决这个问题吗？

Answer 1

你描述的东西真的很奇怪。首先，Concrete5不会生成robots.txt文件。但是，它确实使用相关属性向页面添加了一个带有noindex的自动机元标记。默认安装还附带了一个robots.txt文件，该文件禁止“应用程序”文件夹中的特定文件夹，因此与页面无关。

最后，sitemap生成作业从sitemap中排除所有系统页面和所有仪表板页面。

你能从你的网站地图中分享一些指向管理页面的内容吗？