回答情况：
提问时间：
问题标签：
百度蜘蛛爬行的频率已经做了很多。这是真的：“白鹭像疯子一样爬行”我想把这些访问保留在我的站点上，尽管它们很少(也许有一天它们会增长？)上述问题的公认答案表明，百度网站管理员工具提供了限制爬行率的机会，但我不愿公开(只有中文的)蠕虫罐头。
有没有人有过限制BWT爬行率的经验？还有别的方法来限制这个负荷吗？
浏览 0修改于2017-04-13得票数 19
我在一个困难的情况下，百度蜘蛛击中我的网站造成了大约3Gb的带宽价值一天。同时，我在中国做生意，所以我不想就这么阻止它。
有没有其他人遇到过类似的情况(有蜘蛛)？你遇到了一个神奇的解决方案吗？
浏览 0提问于2015-11-24得票数 3
4回答
开启CDN加速以后…百度蜘蛛抓取403，该如何解决？
内容分发网络 CDN
如题，源站跟百度都说不是他们的原因，我设置的也没有问题，还专门咨询过腾讯的客服，他们教我设置的，现在就是抓取403 ，用户可以正常访问，用其他的模拟蜘蛛抓取都没有问题…所以我该怎么办呢？
浏览 1849提问于2018-03-01
我有一个IIS，它最初在www.root中托管静态HTML，但后来我们决定，如果一个百度蜘蛛试图爬行，我们将把流量映射到我们的NuxtJS服务器旁边，它也在IIS旁边运行。因此，我们安装了ARR (Application请求路由)以启用反向代理，它运行良好，现在我们尝试首先测试在URL重写入站规则中的哪些地方：
如果百度蜘蛛将请求映射到NuxtJS服务器(http://localhost
浏览 0修改于2020-07-24得票数 2
回答已采纳
我厌倦了燕麦，百度和MJ12bot吃了我所有的带宽。他们甚至都不关心无用的robots.txt文件。
我也想阻止任何有“蜘蛛”字的用户代理。
浏览 0提问于2016-02-26得票数 4
回答已采纳
更具体地说，如果/有多好的百度搜索爬虫索引-
我已经看过他们的文档和，但是找不到一个“作为百度机器人的视图”工具(比如谷歌和必应
浏览 4提问于2014-10-15得票数 1
回答已采纳
蜘蛛项目转到管道(多个管道)
我的问题是。return item(在蜘蛛中)是没有意义的，功能是完成的。
我想让所有物品都通过管道。
浏览 2修改于2018-12-26得票数 0
因此，我的问题是:百度的爬虫(百度的爬虫)是否足够聪明，能够理解无止境的JavaScript分页，就像谷歌的机器人显然能做到的那样？
浏览 0修改于2015-12-05得票数 2
回答已采纳
请注意，在我的第一个条件下，如果百度蜘蛛爬行我们的网站，我将尝试将请求映射到NuxtJS，否则只需在the根目录上提供静态HTML文件即可。
<?
浏览 0修改于2020-07-24得票数 0
回答已采纳
1回答
最简单的方法是为每个类别创建一个蜘蛛，并为每个下一篇文章链接创建一个yield响应以进行进一步提取。这有意义吗?或者你可以
浏览 3修改于2016-05-02得票数 0
回答已采纳
2回答
英文版的百度没有关于如何获得或使用他们的API的有意义的信息。我试着写了几封电子邮件，但到目前为止还没有回复。谷歌翻译试图翻译中文版本，但没有成功。
浏览 2提问于2013-12-02得票数 3
我使用Spyder(anaconda3)来完成我的大部分python工作，我可以直接从蜘蛛控制台使用pip安装，但不能从windows 10命令提示符使用pip安装。是否有一种方法可以从蜘蛛/anaconda程序直接使用命令提示符进行pip安装？这是否是严格必要的，甚至是有用的，蜘蛛控制台能够处理所有所需的东西(甚至非python注入)，而不需要使用windows comand提示符吗？例如，如果我要运行在蜘蛛控制台上，这是一个问题还是在命令提示符下运行它更有<em
浏览 2提问于2021-10-17得票数 0
回答已采纳
3回答
我想重命名我的Scrapy项目，蜘蛛制作，JSON创建，但希望更改名称有意义的东西，而不搞砸任何事情。
通过终端的解决方案也将受到赞赏。
浏览 0修改于2019-08-18得票数 3
回答已采纳
所以我一直在想关于一个蜘蛛，也许我的一些请求可能被过滤了，因为它们是到url端点的，但是有不同的body参数(表单数据)。dont_filter=True对FormRequest对象有意义吗？
浏览 1提问于2014-12-22得票数 1
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号