Apache Nutch 2.3.1，增加reducer内存

文章/答案/技术大牛

发布

1回答

hadoop、web-crawler、nutch、nutch2

我已经设置了一个小尺寸的集群，如果Hadoop与Nutch 2.3.1的Hbase。hadoop版本是2.7.7，Hbase是0.98。我已经定制了一个hadoop作业，现在我必须在driver类中为reducer任务设置内存。但在Nutch中没有任何可用选项。在我的例子中，目前通过mapred-site.xml (Hadoop配置)将reducer内存设置为4 GB。但对Nutch来说，我得加倍。是否可以不通过驱动程序类或nutch

浏览 17提问于2019-02-12得票数 0

回答已采纳

1回答

Nutch爬网在多次迭代后失败，并出现运行时异常

web-crawler、nutch、depth

我们使用的是Nutch 2.3.1-src版本。正在执行深度为200的爬网命令。但在几次迭代之后，获取失败，并出现下面提到的运行时异常。Exception at GoraRecordWriter.class while writing to datastore: KeyValue size too large 爬网命令： /Data/Apache/apache-nutch-2.3.1/runtime/local/bin/

浏览 16提问于2019-01-22得票数 0

1回答

更新一个旧的Nutch插件，以便能够在Nutch 2.3.1中使用Xpath解析

java、solr、nutch

我正在使用ApacheNutch2.3.1进行一个项目，我需要能够从下载的html页面中提取特定的数据。我找到了一个插件(解析-xml NUTCH-185)，它可以帮助我实现这个目的，但是它使用的一些库已经不存在或被废弃了，我打算做的是进行必要的修改，使它与Nutch 2.3.1兼容--在Nutch编译中给我一个错误的库是这样的，您能帮我找到Nutch 2.3.1的对应库吗？import org.apache.lucene.document.Docum

浏览 1提问于2018-09-13得票数 0

回答已采纳

1回答

线程"main“java.lang.ClassNotFoundException错误中出现异常

apache、web-crawler、nutch

我运行hadoop jar /home/apache-nutch-2.3.1/runtime/deploy/apache-nutch-2.3.1.job org.apache.nutch.crawl.Crawldir crawl -depth 3 -topN 5，但得到以下错误： Exception in thread "main" java.lang.ClassNotFoundEx

浏览 29提问于2019-04-25得票数 0

回答已采纳

1回答

索引时Nutch 2.3.1和Solr 6错误

indexing、solr、nutch

当我尝试索引时，我得到了这个错误： IndexingJob: starting : java.lang.RuntimeException: java.lang.RuntimeException失败: name=apache-nutch-2.3.1.jar，org.apache.nutch.util.NutchJob.waitForCompletion(NutchJob.java:120) at org.apache.nutch.indexer.IndexingJob.

浏览 3提问于2017-04-20得票数 1

1回答

Apache nutch与ubuntu的兼容性

apache、ubuntu、nutch

我正在为Apache Nutch设置系统，但我被操作系统卡住了。我搞不懂哪个版本的ubuntu与Apache Nutch 2.3.1兼容。任何帮助都将不胜感激。

浏览 4提问于2016-04-19得票数 0

1回答

如何用Hbase 1.2.6编译Nutch 2.3.1

hadoop、hbase、nutch、gora

我必须用Nutch 2.3.1设置hadoop堆栈。Hadoop2.7.4支持的Hbase版本为1.2.6，我已经成功地配置和测试了该版本。:78) at org.apache.nutch.crawl.InjectorJob.inject(InjectorJob.java:252) at org.apache.n

浏览 6提问于2017-09-21得票数 1

回答已采纳

1回答

用Nutch2.3配置MongoDB，关于indexerJob的一些错误？

mongodb、nutch

: java.lang.RuntimeException: job failed: name=apache-nutch-2.3.1.jar, jobid=job_local140530148_0001at org.apache.nutch.util.NutchJob.waitForCompletion(NutchJob.java:120) at org.apache.nutch.indexer.IndexingJob.run(IndexingJob.java:1

浏览 1提问于2016-03-18得票数 1

1回答

Apache注入urls

mongodb、apache、solr、ubuntu-16.04、nutch

我是Apache (2.3.1)和mongodb(3.4.7)的新手。分期付款后，我想注入urls并爬上维基百科网站。当我在终端上运行"./nutch注入urls“时，我会遇到这个错误。~/apache-nutch-2.3.1/runtime/local/bin$ .:135) at org.apache.nutch.storage.StorageUtils.createWebStor

浏览 1提问于2017-11-26得票数 0

回答已采纳

1回答

将Apache* Nutch 2.3与Hbase 0.94.14和Solr 5.2.1集成时出错*

java、apache、hadoop、solr

/ 2Injecting seed URLs at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:218) at org.apach

浏览 1提问于2016-05-26得票数 1

回答已采纳

2回答

Nutch2不恢复爬行

web-crawler、nutch

我在带有MongoDB存储的Nutch2.3.1中使用了下面的命令。当它在爬行时，这个过程是通过按CTRL+C来完成的。在那之后，如果我试图运行相同的爬行脚本，它并不是简单的崩溃而没有任何错误。/apache-nutch-2.3.1/runtime/local/bin/nutch updatedb -D mapred.reduce.tasks=2 -D mapred.child.java.opts2018年3月2日:48:34:2018年

浏览 2提问于2018-03-02得票数 0

2回答

Nutch 2.3不生成/爬行

java、apache、web-crawler、nutch

normalizing: trueGeneratorJob: java.lang.RuntimeException: job failed: name=apache-nutch-2.3.1.jar, jobid=job_local1073670973_0001 at org.apache</em

浏览 0提问于2016-02-10得票数 2

1回答

在window上使用Nutch

web-crawler、nutch

我遇到了一些问题，爬行与Nutch。我遵循了上的教程，但出错了：" 有没有人可以为我提供一个指南，让我参考如何在window上正确使用nutch？

浏览 2提问于2017-10-18得票数 0

1回答

Apache 2.3.1 Fetcher给出无效的uri异常

java、exception、web-crawler、nutch、nutch2

我已经用Hadoop生态系统配置了ApacheNutch2.3.1。我得去找一些人--阿拉伯文字网站。Nutch在获取时为少数URL提供了异常。<init>(HttpMethodBase.java:222) at org.apache.nutch.protocol.httpclient.HttpResponse.&

浏览 4提问于2018-03-20得票数 0

回答已采纳

1回答

Apache Nutch 2.3:不会注入urls (挂起)& hadoop日志显示警告

hadoop、nutch

我在尝试用Elasticsearch 5.4设置Nutch 2.3时遇到了麻烦。问题出在Nutch，因为我不能让它注入我的urls。hadoop日志显示以下警告：aurora apache-nutch-2.3.1 # runtime/local/bin/nutch inject urls/seed.txtInjectorJob: Injecting

浏览 2提问于2017-06-23得票数 0

1回答

Apache Nutch中爬行时出错

hadoop、amazon-ec2、java-8、web-crawler、nutch

我已经在Hadoop(2.5.2)多节点集群(AWS EC2机器)之上安装了ApacheNutch2.3.1。我已经相应地配置了Nutch文件(在主节点上)。现在，我运行以下命令来爬行， /home/ubuntu/nutch/runtime/deploy/apache-nutch-2.3.1.job bin/hadoop jar org.apache.nutch.crawl.Craw

浏览 0提问于2017-12-09得票数 0

1回答

在Centos上使用Solr设置Nutch

nutch

我正在尝试设置Apache Nutch和Apache Solr，以便我们的站点可以进行内部站点搜索。我使用的是JDK 131、Nutch 2.3.1和Solr 6.5.1sudo wget [java url] to /optsudo tar xvf nutch.tar.gz cd /opt/apache-n

浏览 0提问于2017-05-30得票数 1

5回答

Nutch和Solr的最新兼容版本

solr、nutch

我看到人们在网上发布关于这个主题的帖子时，使用了Nutch和Solr版本的不同组合。Nutch和Solr的最新稳定(非测试版)和兼容版本是什么，我可以下载和设置，而无需构建源代码和只需配置？

浏览 1提问于2013-05-16得票数 6

回答已采纳

1回答

Apache Nutch 1.16 Fetcher reducers？

mapreduce、web-crawler、nutch

根据Apache Nutch1.16Fetcher类实现here - https://github.com/apache/nutch/blob/branch-1.16/src/java/org/apache/nutch/fetcher/Fetcher.java，这是一个只有map的任务。

浏览 15提问于2020-07-21得票数 0

3回答

尝试构建Apache* Nutch *2.3.1时出现未解决的依赖项错误

apache、ant、ivy、nutch、avro

这是我第一次尝试在以下基础上设置和构建apache nutch 2.3.1此youtube教程在Windows 10上获得未解决的依赖项错误，如下所示： D:\apachenutch>ant运行时生成文件\apachenutch\build\test mkdir 已创建目录: D:\apachenutch\build\test\classes clean-lib：解决-默认值： ivy:解决 ** ApacheIvy 2.3.0 - 20130110142753 :： http://ant.<e

浏览 78提问于2016-08-29得票数 0

点击加载更多