谷歌只是索引别名？

Question

我经营我们的研究小组网站，但不能直接访问大学DNS服务器。然而，我们有两个地址指向同一个IP -一个是旧网站，规范名称是当前的一个。

IP: 128.252.19.134
Old name: lima.wustl.edu
Name name: pappulab.wustl.edu

问题是，任何谷歌搜索都只返回旧名称(lima.wustl.edu)，尽管lima.wust.edu是别名，pappulab.wustl.edu是规范名称。

我能做些什么让网络爬虫使用pappulab.wustl.edu地址而不是利马地址吗？我们可以杀了利马，但是这会破坏很多不同位置的链接。

一些相关的查找

nslookup 128.252.19.134
Server:     127.0.0.1
Address:    127.0.0.1#53

134.19.252.128.in-addr.arpa name = pappulab.wustl.edu.

nslookup lima.wustl.edu
Server:     127.0.0.1
Address:    127.0.0.1#53

lima.wustl.edu  canonical name = pappulab.wustl.edu.
Name:   pappulab.wustl.edu
Address: 128.252.19.134

Answer 1

您可以使用一个robots.txt文件来通知Google不要爬行旧域名。如果旧域仍然有DNS条目并处于活动状态，请将以下代码放入您的robots.txt文件中：

User-agent: *
Disallow: /

如果您需要快速删除旧的URLS，那么您可以在网站管理员工具中这样做。