回答情况：
提问时间：
问题标签：
0回答
使用Python爬虫，怎么处理反爬机制？
python、爬虫、验证码、requests、数据
我用Python requests来请求数据，但经常出现bug，要没ip无效，要么需要验证码，怎么处理呢？
浏览 167提问于2025-07-19
2回答
请教下大家在做电商/社媒数据采集时，直接用requests或者playwright都遇到过哪些反爬机制？
电商、playwright、requests、数据采集、网页爬虫
浏览 329提问于2025-09-24
近期发现大量网站采用相似的反爬技术，Heritrix提示412，网址http://www.xgrsks.cn/，还有湖北省编制网、检察院、政府网都采用这种，网上查不到相关办法
浏览 1014提问于2021-04-26
我设置了一个爬网：anemone.on_every_page do |page|end然而，我希望蜘蛛在它访问的每个URL上都使用谷歌分析反跟踪标签，而不一定真的点击链接。
浏览 1修改于2014-01-13得票数 3
回答已采纳
0回答
如何在SCF内操作把图片上传到COS？
对象存储、api、云函数、serverless
我有平台给客户上载图片作为图库, 图片不大都1MB以下, 我用了云函数SCF接收客户端传上来base64格式对象,再在SCF上转为Buffer.尝试使用cos.putobject上传到对象储存cos,但反回的我爬了很多文实在搅不懂这块怎么运作. 我也看到直接在客户端用API及临时密键把图片上载到COS. 请问各位, SCF 是否不能这样操作? 还是有什么弄错了...
浏览 291提问于2020-01-02
我正在尝试创建一个自定义报告，它显示当前的爬网时间/持续时间，状态是完全爬网还是增量爬网。
有谁知道我可以用什么API来获取这样的信息？
浏览 0提问于2009-06-01得票数 0
回答已采纳
我发出的命令如下：据我所知，2是爬行的轮数。当我执行此命令并读取crawldb时，我只收到127个url，这比预期的要少得多。当我发出这个命令将数据传递给Solr时：然后执行搜索，那么我总共只得到了20个url。
浏览 0修改于2015-06-05得票数 0
SharePoint 2010 search中的爬网程序影响规则和爬网规则有何不同？
浏览 1提问于2011-02-13得票数 4
回答已采纳
SharePoint 2010 Search未爬网日志文件格式(.log)文件类型，我向共享文档添加了一些新的日志文件(.log)。但我不能在他们里面搜索。我已在文件类型页面中添加了文件类型(日志)，并运行了完全爬网，但无法搜索日志文件内容。有什么想法吗？
浏览 3提问于2014-11-22得票数 0
当我在SP 2010的中央管理员上查看爬网日志时，我看到了爬网内容。我还可以看到我在其中一个站点添加的爬网日志中的内容。但是当我去这个网站搜索的时候，我得不到任何结果。
浏览 3修改于2011-02-23得票数 1
回答已采纳
为了( SharePoint 2013的)搜索爬网关联实体，我们需要在关联实体中设置'DirectoryLink‘属性或'AttachmentAccessor’属性，如下所述：*这是自定义连接器的一些问题吗？现在不会对文件进行爬网，爬网程序会在文件夹级停止。南迪尼
浏览 4提问于2013-07-12得票数 1
0回答
为什么用xpath提取数据保存到数据库会带有<span class="title">xxxx</span>这样的html标签？
html、数据库、scrapy、python爬虫、title
我的本意是只想爬取xxxxx，为何标签也被爬取了呢
图片
浏览 119提问于2023-08-23
对于Nutch 2.2.1，我知道有两个爬行命令- bin/nutch (step by step)，bin/crawl (全部在一起)
我知道如何为bin/crawl命令指定爬网ID。同样，如何为bin/nutch命令指定爬网ID？我问的原因是，我使用all-in-one crawl command "bin/crawl"运行了一个大型爬网作业，指定了一个爬网ID，它在Solr中索引第9次爬行迭代时崩溃了。
浏览 1修改于2013-10-28得票数 1
那么有没有限制爬多少？没有错误信息。就像我删除一个站点一样，另一个站点会被深度爬网，无论另一个站点是否存在，这个站点都会被爬网，而从其他站点中，只有我相信的顶级站点....
浏览 0提问于2014-06-06得票数 0
我已经执行了完整爬网和增量爬网，但该列未出现在已爬行的属性中。是否对列表中的所有列都进行了爬网？
浏览 0提问于2011-05-05得票数 0
回答已采纳
2回答
怎样在不使用API的前提下爬取Twitter数据？
数据挖掘、python、api、twitter、数据
由于现在Twitter API 数据爬取付费，所以我想在不使用Twitter API的情况下使用python爬取到特定关键词的Twitter数据或者Reddit数据，有什么好办法吗？
浏览 911提问于2024-01-06
对于.closest()，如果我知道在DOM树上爬多远，我就可以使用那么多的.parentNode，但是如果我不知道要爬多远，我就卡住了。
浏览 2修改于2011-01-14得票数 2
回答已采纳
但我在爬网属性中找不到ows_editor。
有没有办法将其添加到爬网属性中，以及如何添加？
浏览 2提问于2011-02-14得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号