如何配置Pivotal Hadoop

Question

我们正在开发安装了HAWQ的Greenplum。我想运行hadoop流作业。但是，hadoop似乎未配置或未启动。如何启动mapred以确保可以使用hadoop-streaming？

Answer 1

尝试使用以下命令获取字数：

$HADOOP_HOME/bin/hadoop  jar $HADOOP_HOME/hadoop-streaming.jar \
-input <inputDir> \
-output <outputDir> \
-mapper /bin/cat \
-reducer /bin/wc

如果它给出了正确的字数，那么它可以正常工作，否则可以通过运行以下命令检查输出的错误

Answer 2

若要使其转到Pivotal命令中心(通常链接类似于：https://<admin_node>:5443/ )并查看群集状态或要求管理员执行此操作，请执行以下操作。

运行"rpm -qa | grep phd“

hadoop jar /usr/lib/gphd/hadoop-mapreduce/hadoop-streaming.jar -mapper /bin/cat -reducer /bin/wc -input /example.txt -output /testout

HDFS上应存在/example.txt文件

Answer 3

我很久以前就做到了，Greenplum/Pivotal Hadoop

--1.对于安装icm_client deploy ex。- icm_client部署配置单元

--2.对于状态HDFS服务hadoop- Hive节点状态服务hadoop-datanode状态服务hadoop-server名称节点状态MapRed服务hadoop-jobtracker状态服务hadoop-tasktracker状态配置单元服务配置单元-服务器状态服务配置单元-元存储状态

--3.对于启动/停止/重新启动服务配置单元-服务器启动服务配置单元-服务器停止服务配置单元-服务器重新启动

注意:您可以在安装指南中找到所有这些命令和详细信息，可能在某个地方在线提供hadoop安装指南

谢谢,