Nutch 2.3不生成/爬行

Question

我是Nutch的新手。我已经安装了Nutch2.3，并让它工作到注入种子urls ($ Nutch _ROOT/运行时/本地/bin/nutch注入file:///path/to/seed/). )。

当我执行下一个命令时：$NUTCH_ROOT/runtime/local/bin/nutch生成-topN 10

我知道这个错误：

GeneratorJob: starting at 2016-02-09 23:31:01
GeneratorJob: Selecting best-scoring urls due for fetch.
GeneratorJob: starting
GeneratorJob: filtering: true
GeneratorJob: normalizing: true
GeneratorJob: topN: 10
GeneratorJob: java.lang.RuntimeException: job failed: name=apache-nutch-2.3.1.jar, jobid=job_local1073670973_0001
    at org.apache.nutch.util.NutchJob.waitForCompletion(NutchJob.java:120)
    at org.apache.nutch.crawl.GeneratorJob.run(GeneratorJob.java:227)
    at org.apache.nutch.crawl.GeneratorJob.generate(GeneratorJob.java:256)
    at org.apache.nutch.crawl.GeneratorJob.run(GeneratorJob.java:322)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at org.apache.nutch.crawl.GeneratorJob.main(GeneratorJob.java:330)

对于从这里去哪里或寻找什么有什么建议吗？

任何在这个问题上的帮助将是非常感谢的！

Answer 1

您的日志显示您正在运行一个nutch 2.3.1版本，并且您说您有一个2.3版本。

2.3.1版本增加了许多与其他技术的新兼容性(参见发布说明)。

也许你使用了两个不兼容的版本。

Answer 2

你能检查一下磁盘上数据库的空间吗？因为在nutch 2.X中使用额外的数据库(Hbase，Cassandra.)也许你没有足够的空间来处理数据，时间文件或者其他.