回答情况：
提问时间：
问题标签：
1回答
我正在做这个简单的刮刮爬虫教程给在刮刮官方网站，但得到一些错误。我第一次做这件事，对这一切一无所知。我需要在我的应用程序中实现web爬虫，我发现刮伤可以满足我的需求，所以从教程开始，并在我粘贴到下面的错误后结束。有谁能解释一下密码有什么问题吗..？这是我的爬虫代码
allowed_domains
浏览 0修改于2016-02-21得票数 3
回答已采纳
我正在尝试运行AWS Glue教程。我完全可以进入所有AWS的服务。当我试图运行这个爬虫时，它会向我返回以下消息：
“AWS_glue/AWSGlue无权执行以下操作: glue:GetDatabase :xxx:xxx:会合:xxxx:xxxxxx:xxx(服务:
浏览 0提问于2019-03-27得票数 1
我用Scrapy制作了一个爬虫，它在分析服务器中发送他的输出。我已经检查过本教程了
谢谢！
浏览 3提问于2016-03-20得票数 0
回答已采纳
我需要一个开源的web爬虫在java开发的增量爬行支持。
Nutch -一个网络爬虫，有更多的hadoop支持功能。但是我浏览了很多网站和教程，没有合适的文档，api可以在windows中通过编程方式定制它。我可以在eclipse
浏览 4提问于2014-09-22得票数 1
回答已采纳
当使用风暴爬虫时，它是为Elasticsearch索引，而不是内容索引。爬虫-甜点除了内容没有被索引到Elasticsearch之外，一切都正常工作。我觉得这是
浏览 2修改于2017-11-10得票数 1
回答已采纳
我在Scrapy中有两个爬虫，它从网站上删除一些数据，然后最后存储在数据库(sqlite3)中。现在我想使用Django来管理。Django必须管理爬虫，即激活、停用、删除等。所有的爬虫都要从Django跑。到目前为止，我已经学习了如何在Django中使用自定义命令，但我还无法找到其余的部分。有人能帮我提个主意吗？我的代码是文档中的简单教程。
浏览 3提问于2014-02-04得票数 1
回答已采纳
我有一个非常简单的爬虫。我想让我当前的代码在几个线程中运行。你能为我提供一个小教程或文章来帮助我完成这项测试吗？我的爬虫是一个命令行软件，所以不用担心GUI。
提前谢谢你。
浏览 3提问于2011-05-15得票数 8
回答已采纳
_signal_shutdown(9,0) (它们已经在其他教程中使用过，但由于某些原因在pipeline.py中不起作用)。我知道爬虫不会立即完成，但上面的所有方法似乎都会产生某种错误。有没有一种直接杀死爬虫的方法？
浏览 0提问于2019-07-30得票数 0
例如，根据一些作者的说法，要索引tt_news，我只需要一个通用的爬虫配置和一个用于tt_news的indexed_search配置；但是对于其他教程的作者，我应该为tt_news创建一个爬虫配置。根爬虫配置在找到indexed_search配置时就运行它，难道还不够吗？或者，URL是否需要同时由两者生成？我已经设法使用一个爬虫根配置创建了一个索引，但是我通过我自己的调用cli_dispatch.phpsh的shell脚本来运行索引。
浏览 5提问于2017-04-26得票数 1
我最近才发现了Storm爬虫，从过去的经验和研究中，我发现这个基于Apache的项目非常健壮，适合于许多用例和场景。我想做小的和大的递归爬行在许多web域与特定的速度设置和限制取回urls的数量。是否可以将限制设置为爬虫获取的最大页数？
我可以动态地设置设置，而不需要
浏览 5提问于2017-05-22得票数 1
回答已采纳
我想知道如何在php中构建一个网站爬虫，它可以检测网站的每个页面，并在xml文件中生成一个条目。我见过很多这样的网站，所以我很好奇如何从头开始做，或者有任何脚本或教程可以教你。
浏览 1修改于2011-05-17得票数 0
回答已采纳
我正在尝试用Perl做一个简单的网络爬虫，但是很多网站都有动态内容加载，例如，使用javascript函数： $("#blabla").load('blublu/bla.php');因此，我正在尝试调整我已经拥有的网络爬虫(获取HTML内容)，以“等待”这些脚本加载，然后才获取整个(和完整)网站内容(HTML)。问题是，我对Perl编程和模块实现不是很在行，所以我想知道是否有好心的人愿意在这里发布一个简单的示例或教程</
浏览 2修改于2013-01-15得票数 2
回答已采纳
我已经决定学习python2.7编码的数据分析，并一直在youtube上观看许多教程，以了解基本知识。我正处于这样的阶段，我想为了教育目的而创建简单的网络爬虫，只是为了学习不同的技术，并且只是习惯了一些编码。
我遵循一个网站爬虫教程，但我不确定一些事情。
浏览 0提问于2016-10-31得票数 0
回答已采纳
我使用Symfony 2.1作为框架，这个framweork附带了一个很棒的工具--爬虫。它使XPATH的使用变得简单。
如何使用此crawler加载XML文件？你有没有好的教程来说明如何做到这一点？
浏览 0修改于2012-10-30得票数 3
回答已采纳
我想使用MapReduce架构实现一个基于Hadoop框架的java爬虫，并在HBase中插入内容。我试着把这两个教程结合起来：
但是我不能理解这个概念。从页面中提取链接的逻辑放在哪里？
浏览 22提问于2017-12-19得票数 1
回答已采纳
我试图建立一个网络爬虫来收集来自多个投注网站的投注数据。我有一些编程经验，但我非常迷失在网页，网页抓取等世界。我以前用过Selenium来构建“机器人”，我想我可以用它做点什么，我也读过一些教程(urllib，Beautiful Soup等)。但是所有这些教程都是非常简单的页面，而我想要的似乎有些不同(也许是JavaScript？)
我怎样才能得到有赔率的事件，等等？
浏览 0修改于2016-06-21得票数 1
我想通过Amazon GLUE 1将我的数据从R.D.S传输到Red-shift，为R.D.S添加了连接，并运行了一个爬虫程序将我的R.D.S架构创建到Amazon GLUE中。现在我有很多表，如何传输此架构或Red-shift中的所有表
我遵循了一个教程，但他在Red-shift中已经有了一个表，所以他使用第二个爬虫来获取模式，然后在源和目标上执行E.T.L作业。
浏览 0提问于2019-12-11得票数 1
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号