回答情况：
提问时间：
问题标签：
我有一个爬虫代码，从一个网站获得所有的链接，需要2-3个小时来获得大约30000个链接，并在数据库中存储。如果下次运行爬虫程序时，我只想插入新的链接，该怎么办？我知道我可以在插入数据库之前做一个过滤器，但我希望爬虫只抓取新的链接，而不是再次抓取旧链接(基本上是整个网站)。有没有可能做这样的事情？
浏览 1提问于2018-04-18得票数 0
1回答
我的计划是我的网络爬虫
google.com/robots.txtDisallow: /search我的新计划我的网络爬虫会
打开谷歌、
浏览 3提问于2017-09-15得票数 0
我用Scrapy制作了一个爬虫，它在分析服务器中发送他的输出。我已经检查过本教程了
谢谢！
浏览 3提问于2016-03-20得票数 0
回答已采纳
1回答
我正在做这个简单的刮刮爬虫教程给在刮刮官方网站，但得到一些错误。我第一次做这件事，对这一切一无所知。我需要在我的应用程序中实现web爬虫，我发现刮伤可以满足我的需求，所以从教程开始，并在我粘贴到下面的错误后结束。有谁能解释一下密码有什么问题吗..？这是我的爬虫代码
allowed_domains
浏览 0修改于2016-02-21得票数 3
回答已采纳
我需要一个无限的队列大小(建立一个爬虫)，并需要运行我正在爬行的每个网站在并行单独的线程池。(不超过2-3个)
谢谢罗伊
浏览 0修改于2009-07-21得票数 12
1-2；2-3；15-60等)15-60；1-2；2-3；我在我的opencart里做新的分类。我使用的进行新排序的教程：
浏览 1修改于2017-05-23得票数 3
回答已采纳
我需要一个开源的web爬虫在java开发的增量爬行支持。
Nutch -一个网络爬虫，有更多的hadoop支持功能。但是我浏览了很多网站和教程，没有合适的文档，api可以在windows中通过编程方式定制它。我可以在eclipse
浏览 4提问于2014-09-22得票数 1
回答已采纳
当使用风暴爬虫时，它是为Elasticsearch索引，而不是内容索引。爬虫-甜点除了内容没有被索引到Elasticsearch之外，一切都正常工作。我觉得这是
浏览 2修改于2017-11-10得票数 1
回答已采纳
2回答
这些记录从起始页往下埋了2-3层。所以基本上我让爬虫从某个页面开始，爬行直到它找到特定类型的记录，然后解析html。我想知道的是，有什么方法可以防止我的爬行器使站点过载？其次，与之相关的是，有没有一种使用Scrapy的方法可以在不对网站施加过多压力的情况下测试爬虫？我知道你可以在程序运行的时候杀死它，但是有没有办法让脚本在遇到像第一页这样的页面时停止呢？
浏览 0提问于2011-12-17得票数 6
回答已采纳
我在Scrapy中有两个爬虫，它从网站上删除一些数据，然后最后存储在数据库(sqlite3)中。现在我想使用Django来管理。Django必须管理爬虫，即激活、停用、删除等。所有的爬虫都要从Django跑。到目前为止，我已经学习了如何在Django中使用自定义命令，但我还无法找到其余的部分。有人能帮我提个主意吗？我的代码是文档中的简单教程。
浏览 3提问于2014-02-04得票数 1
回答已采纳
爬虫是一个爬行过程，分析网页的网站，我也指出它。因为这是循环的，如果我访问集线器上的页面，下次当爬虫进程加载时，它会尝试连接到core.pages表。中心正在运行:LaravelFramework8.77.1我从来没有在终端上运行任何命令来切换数据库。只刷新浏览器。两者都在运行8.1.2
只是要详细说明-这不仅限于这些项目，我有相当多，并在测试与另一个2-3，同样的事情发生。任何帮助解决我的问题将不胜感激，因为我经常是在2-3个项目在同一时间工作。
浏览 1提问于2022-03-22得票数 1
回答已采纳
我有一个非常简单的爬虫。我想让我当前的代码在几个线程中运行。你能为我提供一个小教程或文章来帮助我完成这项测试吗？我的爬虫是一个命令行软件，所以不用担心GUI。
提前谢谢你。
浏览 3提问于2011-05-15得票数 8
回答已采纳
_signal_shutdown(9,0) (它们已经在其他教程中使用过，但由于某些原因在pipeline.py中不起作用)。我知道爬虫不会立即完成，但上面的所有方法似乎都会产生某种错误。有没有一种直接杀死爬虫的方法？
浏览 0提问于2019-07-30得票数 0
例如，根据一些作者的说法，要索引tt_news，我只需要一个通用的爬虫配置和一个用于tt_news的indexed_search配置；但是对于其他教程的作者，我应该为tt_news创建一个爬虫配置。根爬虫配置在找到indexed_search配置时就运行它，难道还不够吗？或者，URL是否需要同时由两者生成？我已经设法使用一个爬虫根配置创建了一个索引，但是我通过我自己的调用cli_dispatch.phpsh的shell脚本来运行索引。
浏览 5提问于2017-04-26得票数 1
我最近才发现了Storm爬虫，从过去的经验和研究中，我发现这个基于Apache的项目非常健壮，适合于许多用例和场景。我想做小的和大的递归爬行在许多web域与特定的速度设置和限制取回urls的数量。是否可以将限制设置为爬虫获取的最大页数？
我可以动态地设置设置，而不需要
浏览 5提问于2017-05-22得票数 1
回答已采纳
我正在考虑在web爬虫转储上训练10 TB+以上的大型数据的TB+。我需要使用分布式模型，还是需要在2-3天内使用哪种类型的硬件？我有8gb内存的iMac。
我看到word2vec实现不支持GPU培训。
浏览 1修改于2015-06-02得票数 20
回答已采纳
我想知道如何在php中构建一个网站爬虫，它可以检测网站的每个页面，并在xml文件中生成一个条目。我见过很多这样的网站，所以我很好奇如何从头开始做，或者有任何脚本或教程可以教你。
浏览 1修改于2011-05-17得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号