百度蜘蛛不服从DNS TTL
百度蜘蛛不服从DNS TTL
提问于 2014-04-19 10:08:41
4月16日，我把我的网站从一个VPS移到另一个VPS。
域名的A记录具有86400的TTL。我在4月16日格林尼治时间19:00更改了IP地址。
我不希望该网站面临停机时间，所以我是保持旧的VPS活着。
今天是第三天，旧服务器上的访问日志显示百度蜘蛛的点击量。
已经超过60个小时了，但是为什么这个爬虫还会撞到旧的IP地址呢？
我使用AWS Router53进行DNS。
回答 1
Webmasters Stack Exchange用户
回答已采纳
发布于 2014-04-19 10:34:29
百度蜘蛛在某些情况下也不服从robots.txt。他们似乎有以自己(错误)方式做事的历史。
除非你有一个从百度搜索引擎获得大量流量的中文网站，你为什么要为了让百度蜘蛛开心而让老服务器保持正常运行呢？
页面原文内容由Webmasters Stack Exchange提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://webmasters.stackexchange.com/questions/60839
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号