Hortonworks HDP2.0 +吉图

Question

我已经在Windows8.1平台上的沙箱(最近安装)中运行hortonworks HDP2.0。我需要学习如何在HDP 2.0中使用gi相图。

我认为giraph目前还没有安装在bydefault的HDP 2.0中。有人能帮我安装gi相图，并向我指出一些来源的手上的编码教程。

Answer 1

尝试将本hortonworks MapReduce教程和快速启动结合起来。

前者向您展示了如何在本地计算机和虚拟机之间创建共享文件夹和复制文件。创建一个Gi饼jar (使用第二个链接)，放置在色调主目录中，给予它相关的权限，并创建一个输入文件(详见第一个链接)。

在创建Giraph时，您需要对Hadoop 2进行编译--我使用来自Gi相图根目录的命令mvn -Phadoop_2.0.0 package进行了编译。

我发现，根据您正在使用的Gi相图版本，您在运行时可能会遇到第二个链接中描述的问题。

hadoop jar giraph.jar org.apache.giraph.GiraphRunner org.apache.giraph.examples.SimpleShortestPathsVertex -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip /user/hue/tinygraph.txt -of org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /user/hue/output/shortestpaths -w 1

为我工作过(注意使用-of而不是-vof指定输出格式和使用SimpleShortestPathsVertex代替SimpleShortestPathsComputation的不同之处。

在运行jar时，我遇到了一个异常

java.lang.IllegalArgumentException: "checkLocalJobRunnerConfiguration: When using "LocalJobRunner, you cannot run in split master / worker mode since there is only 1 task at a time!"

我通过添加行来修正

job.getConfiguration().setBoolean("giraph.SplitMasterWorker", false);

到org.apache.giraph.GiraphRunner.java中的计时器核心。

我还遇到了ZooKeeper端口的问题，我详细介绍了关于这里的一项工作。

希望这能有所帮助！

Answer 2

我使用了FBUnicorn上面的答案来编写关于如何在Hortonworks (HDP 2.2)的一个新部署的实例之上安装Gi饼1.2.0的完整指南。

我已经使用VirualBox部署了HDP，因为VM会有开箱即用的互联网连接，而VMware则不是这种情况。

以下是几个步骤：

克隆Gi相图git存储库

cd /usr/local/
sudo git clone https://github.com/apache/giraph.git

向CentOS添加用户

useradd -G hadoop hduser
sudo passwd hduser
sudo chown -R hduser:hadoop giraph
su - hduser

在CentOS上安装Maven (mvn) (w/ 这 文章的帮助)

wget http://mirror.cc.columbia.edu/pub/software/apache/maven/maven-3/3.0.5/binaries/apache-maven-3.0.5-bin.tar.gz
sudo tar xzf apache-maven-3.0.5-bin.tar.gz -C /usr/local
cd /usr/local
sudo ln -s apache-maven-3.0.5 maven

Maven设置

sudo vi /etc/profile.d/maven.sh

插入

export M2_HOME=/usr/local/maven
export PATH=${M2_HOME}/bin:${PATH}

注销并重新登录。确保maven的版本3或更高版本可用。

mvn -version

导出Hadoop和Gi相图目录

vi $HOME/.bashrc

添加

export HADOOP_HOME=/usr/hdp/2.2.0.0-2041/hadoop
export GIRAPH_HOME=/usr/local/giraph

按照FBUnicorn应答修改GraphRunner.java

job.getConfiguration().setBoolean("giraph.SplitMasterWorker", false);

布尔cmd.hasOption(‘Q’)之前；

编译Gi相图

source $HOME/.bashrc
cd $GIRAPH_HOME
mvn -Phadoop_2 -fae -DskipTests clean install

检查jars是否生成在$giraph_HOME/gi相图-核心/目标/文件夹中

用一个很小的图形创建一个测试示例

vi /tmp/tiny_graph.txt

插入

[0,0,[[1,1],[3,3]]]
[1,0,[[0,1],[2,2],[3,1]]]
[2,0,[[1,2],[4,4]]]
[3,0,[[0,3],[1,1],[4,4]]]
[4,0,[[3,4],[2,4]]]

创建的HDFS文件夹：

hadoop fs -mkdir -p /user/hduser/input

将该图形复制到HDFS hadoop fs -copyFromLocal /tmp/_Graph.txt/user/hduser//tiny

将该文件检查到HDFS存储库hadoop -ls /user/hduser/input

过程图

hadoop jar /usr/local/giraph/giraph-examples/target/giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.5.1-jar-with-dependencies.jar org.apache.giraph.GiraphRunner org.apache.giraph.examples.SimpleShortestPathsComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip /user/hduser/input/tiny_graph.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /user/hduser/output/shortestpaths -w 1