我有子域名"klient“为我们的客户测试网站,我不想被索引。我在robots.txt (我们网络的根目录)中设置了以下内容:
User-agent: *
disallow: /subdom/klient/*但我不确定,它是否真的有效,因为我现在已经在谷歌的结果中找到了测试站点.
哪里可能有问题,或者我们如何阻止谷歌和其他机器人索引这个文件夹.?
谢谢
发布于 2017-05-26 12:13:00
您可以通过在子域的根目录中放置一个robots.txt来做到这一点。
因此,在您的klient.example.com中,放置一个具有以下内容的robots.txt:
User-agent: *
Disallow: /如果要删除已编入索引的页面,请创建一个新的带有子域的webconsole站点,并删除那里的索引页。
https://stackoverflow.com/questions/44201096
复制相似问题