回答情况：
提问时间：
问题标签：
嗨，我想做一个网页爬虫，检查URL的数据，如果我做一个简单的Gui，使脚本更容易查找变量的数据，添加代码的gui会使我的网络爬虫效率降低吗？
我需要爬虫尽可能高效，能够尽可能快地处理数据。为这个Python脚本制作一个gui，会不会妨碍web爬虫的性能？
浏览 3修改于2015-01-27得票数 0
回答已采纳
或者，更普遍的是，高效的网络爬虫是用哪种语言编写的？
我见过很多Java语言，但在我看来，它不是最适合开发网络爬虫的语言，因为它产生了太多的开销(尝试使用Heritrix网络爬虫，它非常重)。
浏览 0提问于2009-10-29得票数 1
回答已采纳
这些urls在一个域名中，我用Scrapy编写了一个爬虫程序，我需要使用相同的爬虫程序一起运行这些urls。如果我有10个urls，我想创建10个相同的进程来运行爬虫程序，以提高效率。有解决方案吗？我尝试使用CrawlerProcess来运行爬虫，但是如果urls太多，它会提醒我有太多TCP连接的错误。虽然crawler始终处于运行状态，但这种方法不利于维护。CrawlerProcess(get_project_settings())
page_urls = ['http://
浏览 0提问于2019-01-06得票数 0
它真的很高效吗？我计划用Python创建一个爬虫，为了使程序高效，我想创建尽可能多的线程，每个线程将下载一个网站。我试着在网上查找一些信息；不幸的是，我找不到太多。
浏览 16提问于2019-10-27得票数 0
回答已采纳
我用Perl构建了一个网络爬虫。HTML::ContentExtractor
从网页中提取文本。它非常适合其他网页，我不知道为什么这个爬虫在aspx页面上会失败。
浏览 8修改于2017-05-23得票数 0
有没有一个SVN爬虫，可以遍历SVN存储库，并吐出所有现有的分支或标记？
最好是用Perl或Python ...
浏览 1提问于2011-08-02得票数 0
我有一个非常大的文档集合，比如：并希望能够高效地执行如下查询：.sort({ relevance: -1 })
这导致所有东西都被磨得像爬虫一样(在任何特定的框中都可能有大量的结果，我只需要前10个左右)。
浏览 0修改于2013-09-03得票数 4
我正在尝试用Perl做一个简单的网络爬虫，但是很多网站都有动态内容加载，例如，使用javascript函数： $("#blabla").load('blublu/bla.php');因此，我正在尝试调整我已经拥有的网络爬虫(获取HTML内容)，以“等待”这些脚本加载，然后才获取整个(和完整)网站内容(HTML)。问题是，我对Perl编程和模块实现不是很在行，所以我想知道是否有好心的人愿意在这里
浏览 2修改于2013-01-15得票数 2
回答已采纳
skill_2_details skill_3 skill_3_details2 Excel I use Excel daily SAP SAP ReportingDetails: John writes Perl 问题： 1)考虑到显示要求，应对表结构进行哪些重新调整/更改以提高效</e
浏览 10提问于2019-12-16得票数 1
我有一个连续运行的爬虫(使用Perl )，我使用HTML::TreeBuilder对爬行的网页进行提取。我孜孜不倦地删除了我创建的HTML::TreeBuilder的每个实例，但是爬虫的内存占用却缓慢而稳定地上升(我正在看着它以10到30个字节的速度与每一个爬行的页面一起运行(我正在使用Valgrind来测量堆的使用情况我正在运行Perl版本5.10.1
谢谢!
浏览 0提问于2012-02-15得票数 0
回答已采纳
可能重复：
我对学习Perl很感兴趣，并且刚刚开始用Perl编写一个web爬虫。在我爬行的页面上，有一个给页面投票的Javascript。它显示当前页面的投票，只有当我单击投票星号时。
浏览 0修改于2017-05-23得票数 0
回答已采纳
4回答
我正在编写一个网络爬虫，最终目标是创建爬虫所走路径的地图。虽然我不知道其他爬虫以多快的速度抓取页面，但我的爬虫每分钟大约有2000页。for href in tempUrl:所以我的问题是，在提高效率的同时实现相同功能的另一种
浏览 0修改于2011-06-29得票数 4
回答已采纳
我有一个爬虫的基本结构。现在我在一些php驱动的网站上发布了它，它就像一个护身符。不过，现在我想让它从ajax内容构建数据表。目前，我正在使用Mechanize for PYTHON和perl来构建我的爬虫。虽然机械化模块不执行AJAX。如何访问由异步ajax构建的内容？
浏览 2提问于2012-01-26得票数 2
回答已采纳
3回答
我有一个多线程的Perl爬虫，它可以很好地工作，如果我在array.How中声明URL，即使我从数据库中读取URL，我得到了“分段失败”error.Please帮助我修复这个issue.Thanksmy @URLs =qw(http://www.example.comhttp://www.example.com2
浏览 0修改于2015-01-22得票数 0
我正在使用perl编写一个web爬虫，web爬虫将使用LWP和一些简单的正则表达式提取某些信息。
这些信息保存在mySQL数据库中，该数据库将在安卓设备上使用。然而，当我测试网页爬虫时，我意识到有些信息是用HTML数字编码(&# 20856；&# 33775 ;)用中文(典華)，而有些信息是使用iso-8859-1编码(Zhífú)。我使用PERL：：Entities库解决了中文部分，当我将控制台设置为utf8时可以显示该库。然而，其他字母(Zhífú)只能显示在iso-8859-1中。
浏览 4提问于2011-09-09得票数 3
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号