"User-agent：* Disallow: /“是什么意思？

Question

在/robots.txt页面上，这是什么意思？

User-agent: * 
Disallow: / 

这是否意味着你不能在搜索引擎上搜索并获得本网站的结果？例如，它会屏蔽谷歌吗？

Answer 1

它阻止(好的)机器人(例如，Googlebot)索引任何页面。

来自this page

"User-agent：*“表示此部分适用于所有机器人。"Disallow: /“告诉机器人它不应该访问站点上的任何页面。

使用/robots.txt时有两个重要的注意事项：

• 机器人可以忽略你的/robots.txt。特别是扫描web安全漏洞的恶意软件机器人和垃圾邮件发送者使用的电子邮件地址收集器将不会注意到这一点。

/robots.txt文件是公开提供的文件。任何人都可以看到您不希望机器人使用服务器的哪些部分。

Answer 2

请参阅robots.txt specification。

User-agent: *匹配每个支持robots.txt的机器人(并且在同一文件中没有更具体的记录，例如User-agent: BotWithAName)。

Disallow: /禁止这些机器人在你的主机上抓取任何东西。

请注意，并不是所有的机器人都支持并尊重robots.txt文件。