回答情况：
提问时间：
问题标签：
百度蜘蛛爬行的频率已经做了很多。这是真的：“白鹭像疯子一样爬行”我想把这些访问保留在我的站点上，尽管它们很少(也许有一天它们会增长？)上述问题的公认答案表明，百度网站管理员工具提供了限制爬行率的机会，但我不愿公开(只有中文的)蠕虫罐头。
有没有人有过限制BWT爬行率的经验？还有别的方法来限制这个负荷吗？
浏览 0修改于2017-04-13得票数 19
我在一个困难的情况下，百度蜘蛛击中我的网站造成了大约3Gb的带宽价值一天。同时，我在中国做生意，所以我不想就这么阻止它。
有没有其他人遇到过类似的情况(有蜘蛛)？你遇到了一个神奇的解决方案吗？
浏览 0提问于2015-11-24得票数 3
4回答
开启CDN加速以后…百度蜘蛛抓取403，该如何解决？
内容分发网络 CDN
如题，源站跟百度都说不是他们的原因，我设置的也没有问题，还专门咨询过腾讯的客服，他们教我设置的，现在就是抓取403 ，用户可以正常访问，用其他的模拟蜘蛛抓取都没有问题…所以我该怎么办呢？
浏览 1849提问于2018-03-01
我有一个IIS，它最初在www.root中托管静态HTML，但后来我们决定，如果一个百度蜘蛛试图爬行，我们将把流量映射到我们的NuxtJS服务器旁边，它也在IIS旁边运行。因此，我们安装了ARR (Application请求路由)以启用反向代理，它运行良好，现在我们尝试首先测试在URL重写入站规则中的哪些地方：
如果百度蜘蛛将请求映射到NuxtJS服务器(http://localhost
浏览 0修改于2020-07-24得票数 2
回答已采纳
我厌倦了燕麦，百度和MJ12bot吃了我所有的带宽。他们甚至都不关心无用的robots.txt文件。
我也想阻止任何有“蜘蛛”字的用户代理。
浏览 0提问于2016-02-26得票数 4
回答已采纳
更具体地说，如果/有多好的百度搜索爬虫索引-
我已经看过他们的文档和，但是找不到一个“作为百度机器人的视图”工具(比如谷歌和必应
浏览 4提问于2014-10-15得票数 1
回答已采纳
1回答
我需要刮大的网站，大约有10个类别和数千(我真的不知道多少)的文章在每个类别。最简单的方法是为每个类别创建一个蜘蛛，并为每个下一篇文章链接创建一个yield响应以进行进一步提取。我想的是制作一个顶级蜘蛛，它可以从类别中提取文章urls到队列中。然后，第二级(文章)蜘蛛应该从队列中接收每一个固定数量的urls (比如100个)，并且当蜘蛛完成时，另一个urls将被启动。以这种方式，我们可以控制很多蜘蛛，这是一个常数，比如说20b)我们可以选择预先计算文章的数量，c)蜘蛛的
浏览 3修改于2016-05-02得票数 0
回答已采纳
我使用Spyder(anaconda3)来完成我的大部分python工作，我可以直接从蜘蛛控制台使用pip安装，但不能从windows 10命令提示符使用pip安装。是否有一种方法可以从蜘蛛/anaconda程序直接使用命令提示符进行pip安装？这是否是严格必要的，甚至是有用的，蜘蛛控制台能够处理所有所需的东西(甚至非python注入)，而不需要使用windows comand提示符吗？例如，如果我要运行在蜘蛛控制台上，这是一个问题还是在命令提示符
浏览 2提问于2021-10-17得票数 0
回答已采纳
蜘蛛项目转到管道(多个管道)
我的问题是。return item(在蜘蛛中)是没有意义的，功能是完成的。
我想让所有物品都通过管道。
浏览 2修改于2018-12-26得票数 0
因此，我的问题是:百度的爬虫(百度的爬虫)是否足够聪明，能够理解无止境的JavaScript分页，就像谷歌的机器人显然能做到的那样？
浏览 0修改于2015-12-05得票数 2
回答已采纳
请注意，在我的第一个条件下，如果百度蜘蛛爬行我们的网站，我将尝试将请求映射到NuxtJS，否则只需在the根目录上提供静态HTML文件即可。
<?
浏览 0修改于2020-07-24得票数 0
回答已采纳
1回答
我已经向中文百度提交了我的网站的站点地图文件。1)使用gzip压缩的 16 sitemap文件，每个文件小于10 16，包含更少的50K url。我看到的是百度非常奇怪的行为--它将我的一些站点地图文件标记为Failed (抓取失败)，而其他文件似乎是经过处理的(正常--正常)。除了百度留言“失败的爬虫”(抓取失败)之外，我找不到我的站点地图有什么问题。谁能提出什么是错的？或者哪里可以看到准确的错误信息，从百度
浏览 3提问于2016-10-18得票数 0
回答已采纳
2回答
英文版的百度没有关于如何获得或使用他们的API的有意义的信息。我试着写了几封电子邮件，但到目前为止还没有回复。谷歌翻译试图翻译中文版本，但没有成功。
浏览 2提问于2013-12-02得票数 3
1回答
我的蜘蛛已经完全工作了。SELECT COUNT(*) FROM product_ids，然后除以10，然后执行我有一个想法，我可以在终端中通过在刮擦命令中传递但是我想在蜘蛛里做，所以我只运行了一次蜘蛛，然后它在蜘蛛体内运行了10个相同的蜘蛛。
浏览 0提问于2016-10-13得票数 1
0回答
1 <= x <= 10^5。
答案见文章，全网同名。
浏览 113提问于2023-07-31
我正在构建一个以日期为x轴的图表，我们使用百度echarts来构建它们。 在10-15天的范围内，我只需通过xAxis.data绘制它们，它就能正常工作。在看了网上的一些想法后，我想把它们组织成如下形式(这些天是按月份分组的，并以8-10天的均匀间隔分开)： 2 12 22 2 12 22 2 12 22希望这是有意义的。
浏览 209修改于2019-03-12得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号