问百度蜘蛛每天造成3Gb的流量，但我在中国做生意。
EN

Server Fault用户

提问于 2015-11-24 21:03:34

回答 1查看 830关注 0票数 3

我在一个困难的情况下，百度蜘蛛击中我的网站造成了大约3Gb的带宽价值一天。同时，我在中国做生意，所以我不想就这么阻止它。

有没有其他人遇到过类似的情况(有蜘蛛)？你遇到了一个神奇的解决方案吗？或者你只是接受它或者阻止还是不阻止机器人？

发布于 2015-11-24 21:08:17

只要遵循robots.txt，就可以控制请求

User-agent: *
Crawl-delay: 10

票数 3

页面原文内容由Server Fault提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://serverfault.com/questions/738735

复制

相似问题

问百度蜘蛛每天造成3Gb的流量，但我在中国做生意。EN