Nutch + HBase: hbase版本问题和java异常

Question

我正在尝试使用HBase 0.94.14在Debian Squeeze上安装Nutch2.2.1。我仔细阅读了Nutch 1和Nutch 2教程以及各种文档。我可以构建HBase 0.94.14，并最终使其正常工作(我可以创建表等)。我可以毫无问题地构建Nutch (它是在Gora 0.3上设置的)

现在的问题是: 1-当尝试启动Nutch时，我得到以下跟踪：

./nutch inject /root/nutch/apache-nutch-2.2.1/urls/
InjectorJob: starting at 2014-11-27 09:43:53
InjectorJob: Injecting urlDir: /root/nutch/apache-nutch-2.2.1/urls
InjectorJob: java.lang.ClassNotFoundException: org.apache.gora.memory.store.HBaseStore
    at java.net.URLClassLoader$1.run(URLClassLoader.java:372)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:361)

等。

使用strace -f，我发现没有找到"HBaseStore.class“：

stat("/root/nutch/apache-nutch-2.2.1/runtime/local/org/apache/gora/memory/store/HBaseStore.class",\
  <unfinished ...>
[pid  1827] <... futex resumed> )       = -1 EAGAIN (Resource temporarily unavailable)

我试图找出类路径是否有问题，但最终发现：- HBaseStore.class既不存在于Nutch目录树中，也不存在于Hbase 0.94.4目录树中- Nutch树中的HBase jar版本不存在: hbase-0.90.4.jar

根据我找到的一些在线讨论，我将nutch树中的hbase-0.90.4.jar替换为hbase树中的hbase-0.94.4……

但是：-它没有解决java问题-每次我重新构建nutch时，hbase-0.90.4.jar都会回来，并且我在nutch树中找不到它的任何源代码:-/

请注意，/root/nutch/apache-nutch-2.2.1/conf/hbase-site.xml具有：

<property>
<name>hbase.rootdir</name>
<value>/root/nutch/hbase-master/conf/</value>
</property>

相当于Nutch 0.94.4...

我也试图重建和使用Gora 0.5，但它使Nutch构建失败。

我根本不是Java专家，我不明白为什么Nutch没有使用正确的HBase版本，为什么看起来缺少源代码和java类，在这一点上我完全被卡住了。啊!怎么这么乱呀。

感谢你的任何建议，这可能有助于挽救这种情况。

Answer 1

您确定在gora.properties中有这一行吗

gora.datastore.default=org.apache.gora.hbase.store.HBaseStore

特别要注意名称空间：

org.apache.gora.hbase.store.HBaseStore

而不是

org.apache.gora.memory.store.HBaseStore

我希望这能解决这个问题:)

编辑关于版本：

关于HBase-0.90.4的返回，Gora-0.3依赖于与HBase-0.94.14不兼容的hbase-0.90.4。

为了运行HBase-0.94.14，你必须使用Nutch-2.3-SNAPSHOT (称为"2.x")。您可以在Nutch2Tutorial中找到链接，也可以使用svn checkout http://svn.apache.org/repos/asf/nutch/branches/2.x/

Nutch2.3-快照依赖于Gora-0.5，后者依赖于HBase 0.94.14

看起来已经解决了：

http://mail-archives.apache.org/mod_mbox/nutch-dev/201412.mbox/%3C548F4F1B.7020206@googlemail.com%3E

https://issues.apache.org/jira/browse/NUTCH-1899

Answer 2

阿方索

我检查了一下gora.properties，一切都还好。

另外，我尝试过最新的2.3版快照，但不幸的是，它在构建时出现了一些依赖问题：

[ivy:resolve]       ::::::::::::::::::::::::::::::::::::::::::::::
[ivy:resolve]       ::          UNRESOLVED DEPENDENCIES         ::
[ivy:resolve]       ::::::::::::::::::::::::::::::::::::::::::::::
[ivy:resolve]       ::   org.restlet.jse#org.restlet.lib.org.restlet.lib.org.json;2.0:     java.text.ParseException: inconsistent module descriptor file found in 'http://maven.restlet.org/org/restlet/jse/org.restlet.lib.org.restlet.lib.org.json/2.0/org.restlet.lib.org.restlet.lib.org.json-2.0.pom': bad module name: expected='org.restlet.lib.org.restlet.lib.org.json' found='org.restlet.lib.org.json'; 
[ivy:resolve]       ::::::::::::::::::::::::::::::::::::::::::::::
[ivy:resolve] :::: ERRORS
[ivy:resolve]       restlet: bad module name found in http://maven.restlet.org/org/restlet/jse/  org.restlet.lib.org.restlet.lib.org.json/2.0/org.restlet.lib.org.restlet.lib.org.json-2.0.pom: expected='org.restlet.lib.org.restlet.lib.org.json found='org.restlet.lib.org.json'
[ivy:resolve] 
[ivy:resolve] :: USE VERBOSE OR DEBUG MESSAGE LEVEL FOR MORE DETAILS

BUILD FAILED
/root/nutch/2.3/build.xml:467: impossible to resolve dependencies:
        resolve failed - see output for details

Answer 3

尝试更新版本号：

the

• go in ivy/ivy.xml;

• change rev="2.2.1“of org="org.restlet.jse”to rev="2.2.3“(出现3次)。