将网站移动到新服务器-更新的DNS - web爬虫仍然通过IP访问旧站点。

Question

大约十天前，我把一个站点--主要是一个Joomla讨论板--搬到了另一个IP地址的新服务器上。在短暂的预定停机期间，我照常复制了内容，并完成了DNS切换(通过Cloudflare)，并且大多数流量都遵循它--所有实际用户都能够访问该站点的一个新位置，并且似乎是大多数web爬虫请求。

然而，我仍然有网络爬虫试图访问我的网站在旧的IP。我的意思是，特别是IP地址--尽管他们试图抓取现在存在于新服务器上的有效路径。这主要是GoogleBot，不过我也看到了一个零星的BingBot或Yahoo条目。Apache日志显示旧服务器上每分钟有1-2次访问。

然而，所有这三个机器人都在新服务器上爬行。

我已经从旧服务器上删除了内容，因此这些请求可以满足404。爬虫是否有按服务器IP进行索引的约定？

有没有办法让他们看看这个新网站？我是否应该主动尝试用自定义HTTP错误代码重定向它们？

Answer 1

在这些爬虫上更新DNS缓存可能会花费大量的时间，但是10天对我来说似乎有点牵强。OTOH，你是说他们通过IP攻击你的网站，这肯定是错误的。它听起来更像是某个地方的坏链接，而且您的but服务器没有将IP地址重定向到实际的FQDN URL，然后爬虫继续浏览站点本身的相对链接(但这只是一个假设)。

我不会费心重定向，除非您打算运行这台旧服务器很长一段时间才能做到这一点。例如，一年前我们已经强制使用SSL (使用301重定向)，但是仍然可以通过普通HTTP获得大量请求。而且它们是指向特定资产的直接链接(比如下载)，所以它们不是在不指定https://.的情况下键入主地址只要你一直为它服务，他们就会继续使用它。

如果同样的机器人也会爬上你的新服务器，我真的不介意。我的2美分。