为什么bingbot访问我的网站最多，即使我设定了爬行率的最小？

Question

最近我的网站超载了，结果发现bingbot是罪魁祸首。我在必应网站管理员工具中为我的网站设置了最低的爬行率，但不管怎么说，在所有爬虫中，bingbot拥有最多的访问权限(大约每天30000次请求)。谷歌一天有更少的请求。

你是否也经历过来自bingbot的繁忙交通？为什么当我把爬行率设定到最低的时候它就不表现出来了？

Answer 1

你确定它真的是必应机器人吗？我见过那些忽略不允许的机器人，当使用dig进行反向IP查找时，这些不允许被发现来自于预期之外的其他地方。

dig -x 157.55.39.142

; <<>> DiG 9.9.5-3-Ubuntu <<>> -x 157.55.39.142
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 30244
;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 512
;; QUESTION SECTION:
;142.39.55.157.in-addr.arpa.    IN      PTR

;; ANSWER SECTION:
142.39.55.157.in-addr.arpa. 71  IN      PTR     msnbot-157-55-39-142.search.msn.com.

;; Query time: 57 msec
;; SERVER: 8.8.4.4#53(8.8.4.4)
;; WHEN: Thu Jun 12 18:18:06 EDT 2014
;; MSG SIZE  rcvd: 104

反向查找显示IP确实与Bing的搜索机器人相关。

它们确实声明，robots.txt文件中的爬行控制指令将优先于其端的配置设置。

http://www.bing.com/webmaster/help/crawl-control-55a30302

如果似乎不是这样，您可能想尝试使用他们的控件来调整他们的爬行为您的网站。