回答情况：
提问时间：
问题标签：
list: ") # Enter name of list of seed sites separated by newline
我需要以某种方式检测一个爬虫何时完成，这样我就可以在它所在的地方启动另一个爬虫。有没有一个函数可以找出有多少个活跃的爬虫？所以我可以像这样放一个while循环
浏览 2提问于2014-11-28得票数 4
我的目标是创建一个小的网络爬虫。该过程应该继续，直到找不到新的URL。我的当前绘图如下:爬虫提取urls并将其放入池中。因此，每个Worker都有一个对池的引用，因此爬虫可以通过worker访问池对象。{
public functi
浏览 1提问于2017-02-04得票数 1
2回答
我需要创建一个可以加载到csv文件中的R代码。csv文件包含一个名为" link“的列，对于每个i(Row)，有一个链接，代码需要从这个链接下载链接的内容，并将其放在一个单独的csv文件中。不出所料，我需要在这段代码中实现几样东西，这样它才能成为完成这一特定任务的好爬虫。
我想对每100次下载使用Sys.Sleep函数。这是我的硕士论文，这并不是真正的R编程，但我需要下载的内容，从许多网站，我已经被允许访问。接下来，我要对论文的内容进行分析，这也是我论文的重点所在
浏览 0修改于2012-09-09得票数 0
回答已采纳
1回答
我已经建立了一个爬虫在一个固定的领域内的螃蟹和提取url匹配的修复正则表达式。如果看到某个特定的url，则爬虫将跟踪该链接。爬虫可以很好地提取url，但是每次我运行爬虫时，它都会返回不同数量的链接，也就是说，每次运行它时，链接的数量都会不同。我在用Scrapy爬行。这是刮痕的问题吗？xyz.nl"] rules = (Rule(SgmlLinkExtractor
浏览 3修改于2014-04-07得票数 2
回答已采纳
1回答
我想建立一个网络爬虫使用R程序为网站""，它可以访问与地址参数的网站，然后从网站获取生成的经度和纬度。这将对我拥有的数据集的长度重复。提前谢谢。
浏览 28修改于2018-06-08得票数 -2
我很难理解crawl-delay: 1的含义，如果它没有被忽略，并且实际上被一个给定的网络爬虫所解释。我从斯蒂芬·奥斯特米勒的回答中了解到表示：爬行A页爬行B页换句话说，
什么是爬行延迟:1表示如果它被解释为是？
浏览 0修改于2020-03-04得票数 1
然后，我想使用该JSON中包含的信息来填充我的爬虫中的其他字段。下面是到目前为止的爬虫，它爬行最近的100个工作列表：from ..items import EthjobsScrapyItem, EthJobsLoaderjsonvar = re.sub(r"\A\s+", "", jsonvar)
jsonvar = re.sub(r"( ){2,}", r"
浏览 2修改于2019-12-11得票数 0
我在Haskell用手术刀写一个网络爬虫。request <- parseRequest weblink r<- return $ scrapeStringLike (L8.unpack p) torrentS mapM_ putStrLn我认为它检查用户代理字符串，并对真正的浏览器
浏览 2提问于2017-05-08得票数 0
回答已采纳
嗨，我有一堆CSV位于S3中，这是一个通过AWS建立的爬虫程序，这个爬虫构建了大约10个表，因为它扫描了10个文件夹，其中只有一个没有检测到标头。csv的结构和其他的一样。请给我建议？
浏览 3提问于2020-05-17得票数 4
回答已采纳
这些urls在一个域名中，我用Scrapy编写了一个爬虫程序，我需要使用相同的爬虫程序一起运行这些urls。如果我有10个urls，我想创建10个相同的进程来运行爬虫程序，以提高效率。有解决方案吗？我尝试使用CrawlerProcess来运行爬虫，但是如果urls太多，它会提醒我有太多TCP连接的错误。虽然crawler始终处于运行状态，但这种方法不利于维护。
浏览 0提问于2019-01-06得票数 0
我在做一个爬虫程序。我已经做了爬虫，从网页上塞新闻，它可以上传到我的本地计算机，但我想直接上传到FTP服务器。for i in range(0,len(a),2): rurl, allow_redirects=True)
fileName = datetime.now().strftime(
浏览 4修改于2020-06-09得票数 0
回答已采纳
Linux 17.1.11Java10.0.1的Leiningen 2.8.1 OpenJDK 64位服务器VM行得通！
也许它可以用于新的Java运行时，但是我决定一次按下所有的按钮.
浏览 2修改于2018-07-23得票数 2
回答已采纳
我想通过使用wget工具来学习更多关于爬虫的知识。我有兴趣爬行我的部门的网站，并找到该网站上的前100个链接。到目前为止，下面的命令就是我所拥有的。如何限制爬虫在100个链接后停止？wget -r -o output.txt -l 0 -t 1 --spider -w 5 -A html -e robots=on "http://www.example.com"
浏览 0修改于2011-02-12得票数 3
回答已采纳
根据文档，是否有更多关于Kentico 10使用的网络爬虫技术/引擎的信息？我之所以问这个问题，是因为我想把它用于一个定制的爬虫项目，这个项目可以位于Kentico之外，并且仍然允许它与Kentico平台具有内在的兼容性。
浏览 0修改于2017-08-31得票数 7
回答已采纳
我正在尝试从中间件中暂停运行抓取引擎(运行爬虫)。'cRetry‘对象没有属性’爬虫‘ self.errorCounter = self.errorCounter + 1 os.system("resta
浏览 3提问于2014-01-14得票数 1
回答已采纳
我用python做了一个爬虫，我正在尝试下载这篇文章中的图片--。这个网站的问题是，它会自动调整大小，当我尝试下载文章的图片时，它给我的是320像素(太小)。发生这种情况的原因是爬虫进入url的源文件(view- source：)，它有320个像素。有一种方法可以使图像最大尺寸，或者我如何在浏览器中看到它？这是获取图像的代码：soup = Beautiful
浏览 0提问于2015-11-30得票数 2
1回答
我试图通过使用gem命令安装instagram爬虫：但我收到以下错误：
构建本机扩展。这需要一段时间..。错误:安装instagram爬虫时出错:错误:无法构建创业板本机扩展。当前目录: /var/lib/gems/2.5.0/gems/nokogiri-1.10.1/ext/nokogiri /usr/bin/ruby2.5 -r .
浏览 0提问于2019-02-05得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号