Hadoop安装- WordCount教程

Question

我遵循在这里中提到的运行这里的教程，当我在本教程中运行以下行时

hadoop jar wordcount.jar org.myorg.WordCount /user/cloudera/wordcount/input /user/cloudera/wordcount/output

我得到了以下错误-

17/09/04 01:57:29 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
17/09/04 01:57:30 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

我用的码头图像是docker pull cloudera/quickstart

没有关于Hadoop与Docker的安装教程，所以如果您能够告诉我要做哪些配置来克服这些问题，这将是有帮助的。

Answer 1

本教程假设您在集群中具有可用的Hadoop客户端命令，Hadoop已经启动，并进行了正确的配置。

0.0.0.0:8032是默认纱线资源管理器，所以您需要配置您的HADOOP_CONF_DIR XML文件(特别是针对此错误的yarn-site )，以指向Docker容器，以获得正确的纱线地址。core和hdfs-site也需要配置为指向HDFS。