回答情况：
提问时间：
问题标签：
我正在使用一个网络爬虫(用Scala编写)从不同的网站获取一些内容，我必须从JavaScript片段中解码一个unicode符号必须被解码为
Capitali
浏览 5提问于2014-08-02得票数 0
回答已采纳
为什么Scala爬虫会说： found : Car#Door
required: _1.Door where val
浏览 3提问于2011-09-21得票数 3
我正在制作网络爬虫。我已经尝试过异步http客户端，比如scala tutorial、和的客户端，但是我无法让它工作。
浏览 1提问于2013-09-28得票数 2
我正在学习Scala中的函数式编程课程，并出现了工作表爬虫的奇怪行为。这是因Intellij引起的，还是Scala中发生了更改？
还有别的办法吗？
浏览 4提问于2015-11-10得票数 7
回答已采纳
1回答
我正在集成一个使用内部级联( cascading，)的网络爬虫。因此，我花了一些时间来移植他们提供的一个示例()。/Crawler.scala:18: error: class Tap takes type parameters[ant:scalac] val sinkMap: Map[String, Tap
浏览 2提问于2014-04-01得票数 0
回答已采纳
sbt构建项目，下面是依赖项：下面是运行爬虫scala> import dispatch._
scala> val x = Consumer("asdasdasd", "asdasdasdasadfound: value Cons
浏览 0修改于2014-04-05得票数 1
回答已采纳
1回答
当我遇到这个设计问题时，我一直在用php构建一个刮板和爬虫。我想知道创建一个分离爬行和抓取任务的系统(大多数专业系统似乎都是这样做的)和一个在爬虫爬行时抓取任务的系统之间的权衡。
浏览 4修改于2012-04-16得票数 2
回答已采纳
随着HTML流(例如反应18流)的兴起，我想知道爬虫是如何处理HTML的。谷歌爬虫是如何处理这个问题的？谷歌确实提到了流这里，但它没有说明谷歌爬虫如何处理HTML。
其他爬虫(DuckDuckGo，Bing，Facebook，Twitter等)怎么样？我假设爬虫会等到HTML流结束时，这个假设安全吗？
浏览 0提问于2021-07-27得票数 7
4回答
如何停止云主机上的爬虫？
云服务器
我在云主机上运行了一个scrapy爬虫，这个爬虫可以一直运行，假如我没有停止爬虫就和主机断开了连接，是不是除了关机就没有办法停止爬虫了？
浏览 493提问于2018-01-27
我想使用爬虫实验室仪表板与我的爬虫代码。爬虫实验室是爬虫仪表板。链接为
我要安装(？)docker(?)中的chromedriver。
浏览 44提问于2021-03-11得票数 0
我想让一个抓取爬虫在芹菜任务工人内部不断运行，可能使用。或者，正如所建议的，这个想法是使用爬虫程序来查询返回XML响应的外部API。一旦爬虫程序开始运行，我如何将我想要获取的这个新URL传递给爬虫程序。我不想在每次想要给爬虫一个新的URL时都重新启动爬虫，而是希望爬虫无所事事地等待URL爬行。我发现的在另一个python进程中运行scrapy的两个方法使用一个新进程来运行爬虫程序。我不希望每次我想要抓取一个URL时，都必须派生和拆卸一个新的进程，因为这
浏览 0修改于2017-05-23得票数 2
我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1修改于2012-12-25得票数 0
回答已采纳
是否有可能阻止web爬虫在我的服务器上下载文件(如zip文件)？有可能阻止网络爬虫吗？或者，在下载最多3个文件后，是否还有其他选项可以将文件隐藏在web爬虫上？我可以很容易地创建一个PHP脚本，使用cookie强制访问者登录/注册，但是web爬虫呢？
顺便说一下，我用的是nginx和drupal CMS。如果这能帮上忙的话就给我
浏览 0提问于2013-07-27得票数 1
来自：User代理令牌在robots.txt中的用户代理:行中使用，以便在为站点编写爬行规则时匹配爬虫类型。有些爬虫有多个令牌，如表中所示；要应用规则，只需匹配一个爬虫令牌即可。此列表尚未完成，但涵盖了您可能在website.Full用户代理上看到的大多数爬虫字符串是对爬虫的完整描述，并显示在请求和web日志中。从上面的节选中我们可以看到，可以在robots.txt文件中使用用户代理令牌进行匹配，从而检测爬虫</
浏览 3修改于2019-11-01得票数 0
回答已采纳
我用python编写了一个爬虫，它可以访问60多个网站，解析HTML，并将数据保存到数据库。哪一个更有效率？无限循环还是cron作业？
浏览 7提问于2021-05-14得票数 0
我正在尝试使用实现一个爬虫。一切都很好直到：
是否可以：
防止根数据文件夹锁定。(因此，我可以同时运行多个爬虫副本。)
浏览 3修改于2014-05-11得票数 0
我正在使用js爬虫来抓取网站，现在我遇到了CNN，的那一部分(基于某种原因动态生成的urls)。事情是爬虫，不要真正接触脚本-我应该如何解决它？除了我的node.js爬虫之外，我还应该编写自己的代码吗？是否有先进的爬虫知道如何处理这种动态行为？
浏览 1提问于2016-07-23得票数 2
回答已采纳
嗨，我想做一个网页爬虫，检查URL的数据，如果我做一个简单的Gui，使脚本更容易查找变量的数据，添加代码的gui会使我的网络爬虫效率降低吗？
我需要爬虫尽可能高效，能够尽可能快地处理数据。为这个Python脚本制作一个gui，会不会妨碍web爬虫的性能？
浏览 3修改于2015-01-27得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号