如何在hadoop中创建nutch作业

Question

hadoop jar apache-nutch-1.6.job org.apache.nutch.crawl.Crawl firstSite/urls -dir urls -depth 1 -topN 5

Exception in thread "main" java.io.IOException: Error opening job jar: apache-nutch-1.6.job
        at org.apache.hadoop.util.RunJar.main(RunJar.java:90)
Caused by: java.io.FileNotFoundException: apache-nutch-1.6.job (No such file or directory)
        at java.util.zip.ZipFile.open(Native Method)
        at java.util.zip.ZipFile.<init>(ZipFile.java:215)
        at java.util.zip.ZipFile.<init>(ZipFile.java:145)
        at java.util.jar.JarFile.<init>(JarFile.java:153)
        at java.util.jar.JarFile.<init>(JarFile.java:90)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:88)

Answer 1

直接的答案是apache-nutch-1.6作业丢失或不在当前目录中。

Apache Nutch .job文件(例如apache- nutch -1.9.job)是在编译nutch(通过'ant')时在runtime/deploy/中创建的。请注意，创建此文件需要apache-nutch的源代码发行版，而不是二进制版本。

.job文件实际上是一个JAR文件。它比apache-nutch-1.9.jar大得多，因为它包含所有依赖项(以及conf/中的文件)，因此它包含运行Hadoop作业所需的所有内容。