回答情况：
提问时间：
问题标签：
尝试将Java版本从Java 8更新到Java 11，以编译和运行StromCrawler。
我的问题-在Java11上支持Storm吗？
浏览 0提问于2020-11-19得票数 2
我要做个爬虫。对于http请求，我曾经这样做过。', function () { }); http.request(options, callback).end(); ^at errnoException (dns.js:37
浏览 2修改于2015-01-18得票数 1
回答已采纳
1回答
我用python中的scrapy框架编写了一个爬虫来选择一些链接和元tags.It，然后爬行起始urls，并将数据以JSON编码的格式写入到file.The上。问题是，当爬虫使用相同的起始urls运行两三次时，文件中的数据会被复制.To避免这一点我使用了scrapy中的一个下载中间件，即： print "Index out of range"
浏览 1修改于2012-07-11得票数 2
我是编程新手，就像真正的新手一样，就像“刚刚开始在代码学院上Javascript课程”一样。这是可以用Javascript的网络爬虫来完成的事情吗?如果是这样的话，我该怎么做呢？
浏览 5提问于2016-03-19得票数 0
1回答
我有一个WP网站，为大约2%的Apache请求(主要是机器人和爬虫)创建500's错误。我无法用500's对大多数请求进行堆栈跟踪，也无法对PHP或MySQL错误以及Apache日志进行堆栈跟踪。用于爬虫的Apache访问日志示例：
41.79.186.247 - - [06/Oct/2015:11:23:49 -0400] "GET /international-chamber-of-commerce-icc-ud" "Mozilla/5.0 (Wi
浏览 0修改于2015-10-06得票数 0
回答已采纳
看这个截图：我还检查了AWStats中的爬虫器，但是我没有看到IP地址，所以我无法知道它是从哪里来的。一个未知的机器人消耗了11 GB，而Googlebot只使用了1GB。
我怎么才能挑出坏爬虫？
浏览 3提问于2017-10-29得票数 0
回答已采纳
我想使用爬虫实验室仪表板与我的爬虫代码。爬虫实验室是爬虫仪表板。链接为
我要安装(？)docker(?)中的chromedriver。
浏览 44提问于2021-03-11得票数 0
我目前在我的robots.txt中使用以下代码来禁止任何爬虫访问我的网站。但我只想有一个例外，那就是Google AdSense的爬虫。下面是我的代码：谷歌的AdSense爬虫名为“Mediapartners Google”。
我如何才能将其添加为异常，并继续阻止所有其他爬虫？
浏览 18修改于2021-05-27得票数 1
在我用莱茵爬虫发动爬虫之后，我到目前为止所做的就是：(Display/setDisplayMode(DisplayMode. 800 600))(GL11/glClearColor1.0 0.0 0.0 1.0)
(GL11/glCl
浏览 4修改于2016-03-23得票数 1
回答已采纳
我正在使用js爬虫来抓取网站，现在我遇到了CNN，的那一部分(基于某种原因动态生成的urls)。事情是爬虫，不要真正接触脚本-我应该如何解决它？除了我的node.js爬虫之外，我还应该编写自己的代码吗？是否有先进的爬虫知道如何处理这种动态行为？
浏览 1提问于2016-07-23得票数 2
回答已采纳
嗨，我想做一个网页爬虫，检查URL的数据，如果我做一个简单的Gui，使脚本更容易查找变量的数据，添加代码的gui会使我的网络爬虫效率降低吗？
我需要爬虫尽可能高效，能够尽可能快地处理数据。为这个Python脚本制作一个gui，会不会妨碍web爬虫的性能？
浏览 3修改于2015-01-27得票数 0
回答已采纳
我有一个设置，在我的胶水爬虫运行和数据准备红移时，我需要触发lambda函数。有办法制造这样的触发器吗？编辑：
我为爬虫状态更改添加了一个事件桥规则，它可以工作并触发lambda函数，但是当我的任何爬虫程序运行时它都会触发。我想隔离它，只有在运行了特定的爬虫之后才触发。我用下面的代码进行了测试，但它似乎没有选择我的爬虫名称。是否有其他方法在规则中指定爬虫名称，或者我是否犯了语法错误？
浏览 6修改于2022-10-04得票数 0
回答已采纳
我们正在寻找一个Solr 4.9设置，其中我们有一个非常简单的爬虫清除和加载一个“爬虫”核心，然后触发一个数据副本到“搜索”核心时，爬行完成。这样做的目的是，我们的爬虫非常简单，不真正跟踪文档的方式，将有助于进行更新和删除。基本上，爬虫将清除整个“爬虫”核心，撕毁大约50k个文档(提交1000多个文档)，然后触发一些东西将数据复制到另一个“搜索”核心。
假设我们必须重新启动搜索核心，如何通过命令行或代码实现这一点？
浏览 9提问于2014-08-25得票数 0
回答已采纳
有没有办法让google爬虫忽略javascript中这些变量的声明？
echo '<script language="javascript">var '.
浏览 0提问于2013-11-13得票数 0
回答已采纳
我用Scrapy创建了一个从Yelp抓取数据的爬虫。所有请求都通过Crawlera代理。Spider获取要抓取的URL，发送请求，然后抓取数据。直到有一天，我开始收到502无响应。执行以下代码行后，将显示502无响应： r = self.req_session.get(url, proxies=self.proxies, verify='../secret/crawlera-ca.crt').text 回溯： 2020-11-04 14:27:55 [urllib3.connectionpool] D
浏览 29提问于2020-11-04得票数 0
我需要一个开源的web爬虫在java开发的增量爬行支持。
Nutch -一个网络爬虫，有更多的hadoop支持功能。我可以在eclipse中编辑代码，但它在运行map时会导致许多错误，减少作业。nutch没有java来实现类似孔径
浏览 4提问于2014-09-22得票数 1
回答已采纳
我想建立一个与scrapy亚马逊爬虫。我不明白为什么..。用户代理工作，代理也旋转，他在每个下一个“死”代理上显示不同的IP和一些东西2019-11-06 21:52:40 [rotating_proxies.expire] DEBUG: Proxy<http://XXX:XXX@XXXX:8080> is DEAD
2019-11-06 21:52:40 [rot
浏览 18提问于2019-11-07得票数 1
Web爬虫看不到javascript生成的链接和文本，所以我读到了关于为爬虫使用noscript标记的文章。在noscript部分中，我以正确的方式(在我的php代码中)使用标题标记来呈现标题、字幕、描述和链接到post。许多SEO分析器网站现在看到了这些内容，但我不知道真正的爬虫像谷歌和其他。他的这是一个很好的方式，使我的内容可见的爬虫？我知道这很容易..。
浏览 0提问于2015-04-22得票数 3
我想创建一个爬虫，跟踪网站的每个链接，并检查网址，看看它是否工作。现在，我的代码使用url.openStream()打开URL。
那么创建爬虫的最好方法是什么呢？
浏览 1修改于2011-09-02得票数 2
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号