Robots.txt不允许特定页面不起作用

Question

我有一个Magento安装，我想从谷歌爬行排除隐私策略cookie限制模式页面。在我的robots.txt中，我设置了以下代码：

Disallow: /enable-cookies/
Disallow: /customer-service/
Disallow: /privacy-policy-cookie-restriction-mode/

当我用SemRush分析我的网站时，我得到了与这个页面重复的内容，而不允许指令似乎不起作用。

有什么建议吗？

Answer 1

看看这个Google帮助页面：

https://support.google.com/webmasters/answer/66359?hl=en

谷歌不建议阻止crawler访问您网站上的重复内容，无论是使用robots.txt文件还是其他方法。如果搜索引擎不能抓取包含重复内容的页面，它们就不能自动检测这些URL是否指向相同的内容，因此必须有效地将它们视为独立的、唯一的页面。