Nutch crawl命令

Question

对于Nutch 2.2.1，我知道有两个爬行命令- bin/nutch (step by step)，bin/crawl (全部在一起)

我知道如何为bin/crawl命令指定爬网ID。同样，如何为bin/nutch命令指定爬网ID？

我问的原因是，我使用all-in-one crawl command "bin/crawl"运行了一个大型爬网作业，指定了一个爬网ID，它在Solr中索引第9次爬行迭代时崩溃了。现在，我只想对中断的第9次迭代运行一步"bin/nutch solrindex"命令，以完成solr索引。如何在"bin/nutch solrindex“命令中指定crawlID？语法是什么？

我将所有的抓取数据存储在一个HBase表"webpage_test“中。

Answer 1

您可以运行bin/nutch solrindex并在参数中传递crawl和segments文件夹。

Nutch将索引所有文档，但不会创建重复的文档，因为它将使用ID字段来确定它们是否已被插入。