谷歌robots.txt文件

Question

我想让谷歌机器人: 1)只看到主页2)看到主页搜索结果中的描述

我有以下代码，但它似乎不能工作

User-agent: *
Disallow: /feed
Disallow: /site/terms-of-service
Disallow: /site/rules
Disallow: /site/privacy-policy
Allow: /$

我是不是错过了什么，或者我只是需要等待google机器人访问我的网站？或者这可能是谷歌站长面板所要求的一些操作？

提前感谢！

Answer 1

您的robots.txt应该可以工作(是的，这需要时间)，但您可能需要进行以下更改：

• 看起来你只想针对谷歌的机器人，所以你应该使用User-agent: Googlebot而不是User-agent: * (它针对在你的robots.txt).
• It中没有特定记录的所有机器人似乎你想要禁止爬行除主页之外的所有页面，所以没有必要在Disallow.

中指定几个特定的路径开头

所以它可能看起来像这样：

User-agent: Googlebot
Disallow: /
Allow: /$

谷歌的机器人可能只会抓取你的主页，而不是其他的。所有其他机器人都可以爬行所有东西。