回答情况：
提问时间：
问题标签：
百度蜘蛛爬行的频率已经做了很多。这是真的：“白鹭像疯子一样爬行”我想把这些访问保留在我的站点上，尽管它们很少(也许有一天它们会增长？)上述问题的公认答案表明，百度网站管理员工具提供了限制爬行率的机会，但我不愿公开(只有中文的)蠕虫罐头。
有没有人有过限制BWT爬行率的经验？还有别的方法来限制这个负荷吗？
浏览 0修改于2017-04-13得票数 19
我在一个困难的情况下，百度蜘蛛击中我的网站造成了大约3Gb的带宽价值一天。同时，我在中国做生意，所以我不想就这么阻止它。
有没有其他人遇到过类似的情况(有蜘蛛)？你遇到了一个神奇的解决方案吗？
浏览 0提问于2015-11-24得票数 3
4回答
开启CDN加速以后…百度蜘蛛抓取403，该如何解决？
内容分发网络 CDN
如题，源站跟百度都说不是他们的原因，我设置的也没有问题，还专门咨询过腾讯的客服，他们教我设置的，现在就是抓取403 ，用户可以正常访问，用其他的模拟蜘蛛抓取都没有问题…所以我该怎么办呢？
浏览 1849提问于2018-03-01
我有一个IIS，它最初在www.root中托管静态HTML，但后来我们决定，如果一个百度蜘蛛试图爬行，我们将把流量映射到我们的NuxtJS服务器旁边，它也在IIS旁边运行。因此，我们安装了ARR (Application请求路由)以启用反向代理，它运行良好，现在我们尝试首先测试在URL重写入站规则中的哪些地方：
如果百度蜘蛛将请求映射到NuxtJS服务器(http://localhost
浏览 0修改于2020-07-24得票数 2
回答已采纳
我厌倦了燕麦，百度和MJ12bot吃了我所有的带宽。他们甚至都不关心无用的robots.txt文件。
我也想阻止任何有“蜘蛛”字的用户代理。
浏览 0提问于2016-02-26得票数 4
回答已采纳
更具体地说，如果/有多好的百度搜索爬虫索引-
我已经看过他们的文档和，但是找不到一个“作为百度机器人的视图”工具(比如谷歌和必应
浏览 4提问于2014-10-15得票数 1
回答已采纳
因此，我的问题是:百度的爬虫(百度的爬虫)是否足够聪明，能够理解无止境的JavaScript分页，就像谷歌的机器人显然能做到的那样？
浏览 0修改于2015-12-05得票数 2
回答已采纳
请注意，在我的第一个条件下，如果百度蜘蛛爬行我们的网站，我将尝试将请求映射到NuxtJS，否则只需在the根目录上提供静态HTML文件即可。
<?
浏览 0修改于2020-07-24得票数 0
回答已采纳
我在GitHub上找到了以下要使用的程序：
蜘蛛：https://4.hidemyass.com/ip-1https://4.hidemyass.com/ip-3
https://3.hide
浏览 1提问于2015-11-07得票数 0
回答已采纳
当我分析百度Tieba的帖子时，我发现如果一个帖子的复核(中文名为“楼忠楼”(楼中楼)，缩写为->lzl，我会在下面提到它时使用'lzl‘)有表情符号，Scrapy不会给我一个正确的回复。有lzl，有emoji，它的不能被解析为，因为发生了错误(以及在解析函数中使用打印汤的不正确的响应)：
不要有lzl，在这种情况下，没有任何东西将被打印，并且蜘蛛结束时没有发生错误
浏览 5修改于2017-09-01得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号