回答情况：
提问时间：
问题标签：
6回答
我需要索引一大堆网页，有哪些好的网络爬虫工具？我最好找的是.NET能跟我交流的东西，但这不是什么花哨的东西。
我真正需要的是一些东西，我可以给一个网站的网址&它将遵循每个链接，并存储索引的内容。
浏览 0修改于2009-06-14得票数 16
回答已采纳
对于HTML和XML文档(本地或基于web)，什么是一个好的爬虫(爬虫)，并且在Lucene / Solr解决方案空间中工作得很好？可以是基于Java的，但不一定是。
浏览 13提问于2008-11-12得票数 16
回答已采纳
我正在寻找一个网络爬虫工具，将通过所有锚文本在整个网站上，并生成一个列表供我检查。我想确保所有的锚在上下文之外都是描述性的。我不在乎它是基于网络的还是基于桌面的软件。
浏览 0提问于2011-12-13得票数 1
我对heritrix工具很陌生，现在我可以从www抓取网页，现在我想要提取爬行urls的内容。
请提前帮助我任何one.please.Thanks。
浏览 0提问于2013-08-28得票数 2
回答已采纳
4回答
我需要一个工具
这样的工具需要在Linux上运行，如果这种工具看起来像HTTP服务器上的通用浏览器，那就太好了。我可以使用哪些工具/库？
浏览 10提问于2011-03-21得票数 1
回答已采纳
1回答
我一直在使用广告工具，但是我遇到了以下错误adv.crawl('https://sandpipercomms.com', 'my_output_file.jl
浏览 16修改于2022-09-07得票数 -3
1回答
在围棋之旅中，您会遇到以下问题：
在本练习中，您将使用Go的并发特性来并行化web爬虫。修改Crawl函数，以并行方式获取URL，而不需要获取相同的URL两次。
浏览 0修改于2015-03-07得票数 15
回答已采纳
Google网站管理员工具报告了网站服务器上一些文件夹的403个错误，例如：
这个文件夹没有被禁止，所以我不明白为什么Googles会有403个错误？
浏览 0提问于2011-12-18得票数 1
有没有什么工具/script可以让我提取所有的链接，比如这样我就可以使用IDM来获取这些链接
浏览 1修改于2014-04-15得票数 0
回答已采纳
我们一直通过ModSecurity规则(自定义规则)直接从Apache拦截机器人、爬虫、蜘蛛和扫描器。我们只允许谷歌( Google )、必应( Bing )、雅虎( Yahoo )和其他第三方工具的机器人，但我们阻止自动化工具、高风险国家(如Rusia、中国、乌克兰等)、高风险的in等，因为我们过去有过负面的交通体验和攻击现在一切都很好，但是我担心这会影响到一些工具如何测量DA到我们托管的所有域。
因此，阻塞机器人会影响DA结果，如本页中的？
浏览 0提问于2019-05-29得票数 2
回答已采纳
我在做爬虫申请。我希望爬行网站，并找到深度的网页检索。我读过不同的爬行和解析工具，但都没有用。它们似乎都没有为计算深度提供支持。我也不确定使用哪一种爬虫工具，哪种工具最接近所需的功能。
浏览 3提问于2014-06-25得票数 1
回答已采纳
4回答
我正在编写一个爬虫，需要从许多网站获取数据。问题是每个网站都有不同的结构。我如何才能轻松地编写一个从(许多)不同网站下载(正确)数据的爬虫？如果网站的结构发生变化，我是否需要重写爬虫，或者是否有其他方法？谢谢!
浏览 0提问于2012-07-20得票数 1
我正在尝试用ABOT在c#.i中制作网络爬虫，我搜索了很多例子，并添加了ABOT网络爬虫。从那我只能得到日志输出而不是超文本标记语言页面输出。我想得到超文本标记语言页面输出only.because，超文本标记语言输出是超文本标记语言敏捷工具的输入。帮助我从ABOT网络爬虫在C#中获得超文本标记语言输出。谢谢。
浏览 4提问于2013-09-12得票数 5
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号