我如何阻止谷歌爬行我的Bitly品牌短域名？

Question

问题是我们使用比特品牌的短域名作为url的缩短器。我们的品牌短域是d.so.city

现在，每当我在谷歌上搜索site:so.city时，所有的d.so.city链接甚至出现在真正的站点urls之前。我不想让被咬的网址被抓取。我知道这可以很容易地通过robots.txt为子域，但我们没有访问子域的robots.txt文件，因为它是完全链接比特。

我也试过谷歌站长的参数阻止，但也没有运气。我也浏览了Bitly文档，但也找不到任何相关的东西。

下面是我的站点搜索现在的快照：

​

我不希望这些d.so.city链接出现在谷歌搜索上。如果有人能帮上忙，我们将不胜感激。

Answer 1

我认为在d.so.city下的每个页面都有一个没有索引的meta标签应该可以做到这一点。

要防止大多数搜索引擎web爬虫索引您站点上的页面，请将以下meta标记放入页面的部分：

<meta name="robots" content="noindex">

要仅阻止Google web crawlers索引页面，请执行以下操作：

<meta name="googlebot" content="noindex">

如果你告诉Google网站管理员进行参数阻止，它本质上是试图阻止在爬行特定页面后找到的东西。

参考：https://support.google.com/webmasters/answer/93710?hl=en