回答情况：
提问时间：
问题标签：
2回答
我目前正在使用以下代码构建一个文件系统爬虫：require 'spreadsheet'我收到了以下输出：0 files were found
正则表达式已经过测试，而且是正确的--我目前在另一个可以正常工作的爬虫中使用它
浏览 0修改于2012-12-29得票数 2
回答已采纳
1回答
我想在java中为Linux和Windows操作系统设计一个文件系统爬虫。我对java很陌生，我正在构建一个应用程序来搜索文件系统中给定文件名的匹配文件。访问整个文件系统后，列出结果。
如何以类似的方式在Windows文件系统(NTFS)中搜索文件？我怎么找到根呢？
浏览 2修改于2016-02-22得票数 1
2回答
我计划用c++编写一个网络爬虫，它每天爬行N个页面。主要的问题是我把存储系统搞糊涂了。所以我需要一个高效的分布式数据库来存储我抓取的数据。有没有人能给我推荐一个符合条件的db？
浏览 0修改于2011-03-20得票数 1
我试图在一段时间内识别高命中率的IP。现在，我可以使用什么技术来分析集群中的数据，以便了解集群中的数据点是否在正确的集群中。我能想到的是，如果我取一个位于集群边界的数据点，如果我测量这个点到其他质心和它自己的质心的距离，那么我能知道这两个集群离我的点有多近吗，以及我的数据在集群中划分得有多好？提前感谢。！！干杯！
浏览 0提问于2016-03-16得票数 0
我正在构建一个爬虫来搜索我的文件系统中包含特定信息的特定文档。然而，regex部分让我有点困惑。) count += 1 end运行这确认爬虫正在工作总结一下：
爬虫使用teststring在第一种情况下工作--验证爬虫是否正确地扫描了我的文件系统并读取了所需文件类型的内容。爬虫找不到测试的
浏览 5修改于2012-12-18得票数 1
回答已采纳
2回答
许多数据库系统适合与网络爬虫一起工作，但是有没有专门为网络爬虫开发的数据库系统(在.net中)。1)与网络爬虫一起工作的最好的数据库系统是什么？
2)是否有涵盖所有功能的数据库系统！
浏览 2提问于2011-07-05得票数 1
1回答
我在一个基于java的爬虫上工作。我想在我的爬虫恢复功能，用户可以在任何时候暂停爬虫，在他想要的情况下，爬虫崩溃的情况下，他应该能够开始从爬虫停止的点上一次爬行。我不确定哪个数据库是最好的这类系统，因为它需要非常快的插入和检索的链接从数据库和频率插入和检索将非常高。
很少有人建议我像mongodb那样使用no-sql，但我只想确保它是这类系统的最佳选择。
浏览 2修改于2012-01-06得票数 1
回答已采纳
1回答
我想写一个爬虫来做一些基础设施(路由器，WAPS，系统等)的清单。所以，我在服务器上安装了一个应用程序，以及如何部署它。爬虫是怎么开始的？爬虫是如何返回数据的？
浏览 5修改于2015-02-09得票数 0
我想使用一个网络爬虫和抓取一个特定的网站。该网站是一个学习管理系统，许多学生在这里上传他们的作业，项目演示文稿等。我的问题是，我可以使用网络爬虫下载已经上传到学习管理系统中的文件吗？爬虫能做到这点吗？我知道webeater (用Java编写的Crawler )
浏览 1修改于2011-03-30得票数 1
回答已采纳
谷歌应用引擎可以用来运行网络爬虫吗？
我有一个爬虫进程，从amazon网站产品的特定id (或ASIN编号)开始。然后，该过程使用amazon产品广告API获得类似的产品。我给了他一个关于如何使用google计算引擎制作整个系统的建议，但是他渴望使用google应用引擎。他认为应用引擎会自动生成爬虫实例。由于google应用引擎用于后端和app，我担心在应用程序引擎上部署这样的爬虫系统会有其局限性。
浏览 0修改于2018-06-05得票数 0
回答已采纳
1回答
我正在开发一个爬行数以千万计的网页的系统，它将继续运行。我宁愿不从头开始开发爬虫。哪些开源网络爬虫符合以下标准：如果我错过了任何一个，请评估其他你认为重要的标准。我有以下开源爬虫的列表。他们是否具备上述特征？
ScrapyMechanizeNutchHeritrixflaxhttrackSpidherSearcharoo
浏览 1修改于2012-07-11得票数 1
我正在尝试建立一个这个网站的import.io爬虫，但当我点击“下一步”到下一页训练，它把我带回第一页，因为正在使用的分页系统。非常感谢任何关于如何让import.io爬虫爬行通过这些页面的建议。根据import.io网站上的建议，我试图在与服务器交换的数据包中找到分页系统，但没有成功。如果你能帮上忙，谢谢。JRH
浏览 1提问于2015-08-31得票数 1
2回答
我正在研究一个系统，在这个系统中，我们有几个预定的长时间运行操作。我正在寻找方法，使这个更可伸缩，以便我们可以添加更多的爬虫，通过旋转新机器在高负荷等。我们仍然需要某种
浏览 0提问于2023-05-21得票数 0
我有一个网站，我们最近改变了内容管理系统。随着新系统的出现，出现了新的URL/层次结构。谷歌网站管理员工具与网站没有任何问题，我没有爬虫错误。这在爬虫错误页面上。上面写着“阻止URL”，然后放在它列出的URL的一侧，“页面未找到”。我只想让它忘记这些页面的存在，因为它们不再存
浏览 0修改于2014-12-12得票数 3
回答已采纳
2回答
我们正在使用Puppeteer编写一个网络爬虫。我们写的木偶爬虫执行和爬行网站的网址没有问题的网页，如约1,500 - 5,000，但是，当我们执行的网站超过5,000，如果它在中间由于一些错误或崩溃而中断，那么它需要重新开始。如果出现任何错误，如何使基于Puppeteer的网络爬虫从爬行的最后状态恢复？在Puppeteer中有没有内置的函数？如何让这个木偶手无头的chrome web爬行通过一个队列系统？
浏览 14提问于2020-12-05得票数 2
2回答
它们看起来都很酷，但我想知道使用这样的系统是否会阻碍网页的良好索引。
搜索引擎的爬虫能够解析javascript数据吗？我认为将页面内容放在javascript中是一种糟糕的做法，因为有些爬虫无法解析这些内容。
浏览 0提问于2012-02-29得票数 2
回答已采纳
我有一个春天启动网络项目，需要与网络爬虫系统的工作。我的爬虫服务在没有任何停机时间的情况下工作，每个爬虫请求可能有很长的处理时间。我想通过一个REST接口获取抓取的URL。
浏览 32提问于2020-10-22得票数 1
我的应用程序允许用户创建一系列的网络爬虫，这些爬虫保存在一个数组列表中。每个crawler都有一个进度面板gui，显示已爬行的页面等，并允许用户暂停该爬虫。但是，用户可能还想“终止”该爬虫程序。我需要做什么才能让用户按下"Terminate“，对于那个爬行器，它的抓取器，以及抓取器的DatabaseConnection，都被”关闭“并从系统中删除。
任何建议都将不胜感激。
浏览 4修改于2011-08-26得票数 0
回答已采纳
3回答
有一个爬虫/爬虫，它会爬网寻找我需要的信息(我如何告诉爬虫要爬行什么，因为我不想获取整个网络？)？然后有一个索引系统来索引和组织我抓取的信息，也是一个搜索引擎？像Nutch lucene.apache.org/nutch这样的系统可以用于我想要的吗？你有推荐的其他东西吗？例如，Techmeme.com是如何构建的？
浏览 2修改于2010-08-23得票数 14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号