电子病历上的Alluxio + Hive

Question

我在EMR5.19.0集群上安装了Alluxio1.8，可以使用/usr/local/alluxio/bin/alluxio fs ls /查看我的S3表。

但是，当我启动hive并发出hive> [[DDL w/ LOCATION = alluxio://master_host:19998/my_table ]]]命令时，我得到以下结果：

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:java.lang.RuntimeException: java.lang.ClassNotFoundException: Class alluxio.hadoop.FileSystem not found

有没有办法克服这个问题？我尝试用指向/usr/local/alluxio/client/alluxio-1.8.1-client.jar和hdfs上的jar副本的--auxpath启动hive，但没有成功。

有什么帮助吗？

Answer 1

我发布了一个blog，讨论了错误消息java.lang.ClassNotFoundException: Class alluxio.hadoop.FileSystem not found的原因。这里有一些小贴士，希望他们能有所帮助：

配置单元的

• ，在conf/hive-env.sh

中设置环境变量HIVE_AUX_JARS_PATH

export HIVE_AUX_JARS_PATH=/<PATH_TO_ALLUXIO>/client/alluxio-1.8.1-client.jar:${HIVE_AUX_JARS_PATH}

我猜这等同于您设置--auxpath所做的操作。

• 取决于您的配置单元设置(例如，MR或Spark或Tez上的配置单元)，您可能还需要确保运行时也能够访问客户端jar。以MR上的配置单元为例，您可能还需要将Alluxio客户端jar的路径附加到mapreduce.application.classpath或yarn.application.classpath，以确保MR作业的每个任务都可以访问此jar。