CentOS上的Hadoop伪分布式配置

Question

我能够在独立的机器上配置hadoop，现在尝试运行伪分布式hadoop配置，我已经按照此链接进行了配置。

1. 我能够格式化名称节点。
2. 但是，当我启动bin/start-all.sh命令时，节点没有正确启动。
3. 当我浏览日志文件时，我发现了以下错误。

namenode-hadoop2.log

/tmp/hadoop-root/mapred/system/jobtracker.info :文件java.io.IOException只能是 复制到0节点，而不是在org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1558)中复制1个节点

jobtracker-hadoop2.log

2013-05-10 11:36:09,959警告org.apache.hadoop.hdfs.DFSClient: DataStreamer异常: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File文件只能复制到0节点，而不是1

1. 我执行以下命令： bin/hadoop fs -put conf输入

13/05/10 11:42:19错误hdfs.DFSClient:异常关闭文件/user/root/input/mapred-site.xml : org.apache.hadoop.ipc.RemoteException: java.io.IOException: file /user/root/root/mapred-site.xml只能复制到0节点，而不是1

请告诉我除此链接以外的其他配置。

谢谢。

Answer 1

此错误意味着您的datanode存在一些问题。确保它正在运行，并且能够与namenode对话。还要确保在datanode的磁盘上有足够的空间。检查DN的保留空间(如dfs.datanode.du.reserved中所设置的)是否大于剩余的空闲空间。您也可能因为权限而收到此消息(如JT无法在启动时创建jobtracker.info )。

您可能会发现这个链接很有用。我试图展示建立伪分布式集群的完整过程。看看能不能帮上忙