阻止主域中的搜索引擎，同时允许附加域进行良好的排序。

Question

我有一个与主域名和许多附加域名共享主机帐户。我实际上不使用主域名，它只是有一个登陆页面。

我可以告诉机器人不要索引主域而不影响我的附加域的SEO？

如果是这样的话，我该如何告诉机器人忽略整个域呢？

Answer 1

您可以在该域源代码的头区域放置一个像<meta name="robots" value="noindex">这样的元标记。这样，机器人就可以爬行页面并查看noindex提示。

如果你把一个robots.txt不允许机器人，他们将不会抓取该网站，但仍然有一部分在搜索索引。