HPCC/HDFS连接器

Question

有没有人知道HPCC/HDFS connector.we同时使用HPCC，HADOOP.There是HPCC开发的一个实用工具( HPCC / HDFS连接器)，它允许HPCC集群访问HPCC数据。

我已经安装了连接器，但是当我运行程序从hdfs访问数据时，会产生错误，因为libhdfs.so.0不存在。

我尝试使用命令构建libhdfs.so

 ant compile-libhdfs -Dlibhdfs=1

它给了我错误

在"hadoop“项目中不存在目标”编译-libhdfs“。

我又用了一条命令

 ant compile-c++-libhdfs -Dlibhdfs=1

它给出的错误

艾薇-下载： get : /home/hadoop/hadoop-0.20.203.0/ivy/ivy-2.1.0.jar get To：http://repo2.maven.org/maven2/org/apache/ivy/ivy/2.1.0/ivy-2.1.0.jar get Error http://repo2.maven.org/maven2/org/apache/ivy/ivy/2.1.0/ivy-2.1.0.jar 转到/home/hadoop/hadoop-0.20.203.0/ivy/ivy-2.1.0.jar 生成失败的java.net.ConnectException:连接超时

任何建议都会有很大帮助。

Answer 1

Chhaya，您可能不需要构建libhdfs.so，这取决于您安装hadoop的方式，您可能已经拥有它了。

签入HADOOP_LOCATION/c++/Linux-<arch>/lib/libhdfs.so，其中HADOOP_LOCATION是您的hadoop安装位置，arch是机器的体系结构(i 386-32或and 64-64)。

找到库后，确保正确配置了H2H连接器(见此处第4页)。

这只是更新配置文件中的HADOOP_LOCATION变量：/opt/HPCCSystems/hdfsconnector.conf的问题。

祝好运。