我已经在64位Ubuntu12.04.3(精确)上安装了Hadoop2.2.0,并按照博客(http://tuliodomingos.blogspot.com.es/2013/04/installing-apache-hadoop-in-ubuntu-linux.html,如果你感兴趣)中的建议配置了配置xml文件。
其目标是为dfs和mapreduce提供一个“单节点集群”。
因为缺少一些库,我经常收到以下消息,但我不认为这是导致问题的原因:
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable我尝试了maven的构建,但对实际发生的事情感到非常困惑。似乎有一次又一次的编译迭代,我不知道发生了什么。
无论如何,使用我下载的(非maven) hadoop,分布式文件系统似乎可以正常运行。然而,当我尝试按照教程运行WordCount mapreduce示例时,我就卡住了。作业提交正常,但是它们似乎从未真正运行过。附加的"mr_output.txt“是在终端中返回的内容。
此外,查看本地监控站点(抱歉,我无法发布这些图像),我注意到的一件事是,这些站点指示没有活动节点,考虑到dfs操作都很好,我不知道发生了什么。
另外,下面是hdfs dfsadmin -report的输出:
13/11/06 14:08:20 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Configured Capacity: 412849389568 (384.50 GB)
Present Capacity: 134156435456 (124.94 GB)
DFS Remaining: 134152601600 (124.94 GB)
DFS Used: 3833856 (3.66 MB)
DFS Used%: 0.00%
Under replicated blocks: 1
Blocks with corrupt replicas: 0
Missing blocks: 0
-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)
Live datanodes:
Name: 127.0.0.1:50010 (localhost)
Hostname: rimmer-Inspiron-7520
Decommission Status : Normal
Configured Capacity: 412849389568 (384.50 GB)
DFS Used: 3833856 (3.66 MB)
Non DFS Used: 278692954112 (259.55 GB)
DFS Remaining: 134152601600 (124.94 GB)
DFS Used%: 0.00%
DFS Remaining%: 32.49%
Last contact: Wed Nov 06 14:08:18 EST 2013如果我尝试调用"yarn resoucemanager“或"yarn nodemanager”,我会得到一个超长的消息流,我能看到的错误是:
13/11/06 14:15:11 FATAL nodemanager.NodeManager: Error starting NodeManager
java.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.The valid service name should only contain a-zA-Z0-9_ and can not start with numbers尽管在"yarn-site.xml“文件中将”YARN.NODEMAGER.AUX-services“设置为"mapreduce.shuffle”,但仍然是这样的。
我已经看过很多次官方文档了,我也在谷歌和论坛上花了不少功夫。非常感谢您的智慧。
最好的
基兰
发布于 2013-11-10 11:59:40
由于某些原因,服务名称的有效格式在Hadoop 2.1.0和2.2.0之间发生了变化。
正确的值现在是mapreduce_shuffle而不是mapreduce.shuffle
发布于 2013-11-14 02:28:19
即使将“YARN.NODEMAGER.AUX-services”的值更改为"mapreduce_shuffle",仍然存在启动namenode的问题。
似乎Hadoop 2.2.0是为了在32位机器上开箱即用而发布的,因为1.2.0的文件夹结构发生了变化,其中$HADOOP_INSTALL/lib目录现在只有一组库(那些只在32位系统上工作的库)。
早在1.2.0中,在库目录中有两个子目录,分别对应于x32和x64架构,分别称为"Linux-amd64-64“和"Linux-i386-32”。
这里有一个关于它的讨论:
https://issues.apache.org/jira/browse/HADOOP-9911
还有一个页面建议你可以在这里从x64上的源代码进行编译:
http://blog.csdn.net/focusheart/article/details/14058153
附言:虽然我不能没有错误地编译它。上面JIRA线程上的问题也没有解决。
编辑:由于以上所有的原因,除了namenode之外的所有东西都启动并运行了,这就是为什么你会看到nogemanager、resourcemanager、secondarynamenode (据我所知它不能“取代”namenode)和datanode启动并运行。
发布于 2013-11-09 04:57:48
你有没有试着先运行单机模式?
https://stackoverflow.com/questions/19803675
复制相似问题