如何阻止搜索引擎查找sub.domains？

Question

我想阻止像谷歌和雅虎这样的搜索引擎抓取像user.example.com这样的用户sub.domains，我该怎么做呢？

Answer 1

在您的web服务器中使用robots.txt文件。

因此，在您的子域中放置一个如下所示的robots.txt文件：

User-agent: *
Disallow: /

Answer 2

所有的网站都有一些特别指定的东西，因为这是他们不想被搜索引擎抓取的东西……