运行单节点配置Hadoop

Question

我在单节点上使用hadoop。我和hadoop是新来的，所以请容忍我。我使用了教程"http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/“和"https://sites.google.com/site/jianpengxu/tutorials/hadoop-setup”来安装hadoop。命令jps显示hadoop节点已经启动并正在运行。

当我尝试运行单词计数时(例如)

"bin/hadoop jar hadoop-0.20.2-examples.jar wordcount gutenberg gutenberg-output"
i got the error message
"14/01/29 14:22:52 INFO input.FileInputFormat: Total input paths to process : 1
14/01/29 14:22:52 INFO mapred.JobClient: Running job: job_201401241441_0013
14/01/29 14:22:53 INFO mapred.JobClient:  map 0% reduce 0%
14/01/29 14:23:02 INFO mapred.JobClient: Task Id : attempt_201401241441_0013_m_000000_0, Status : FAILED
java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast to org.apache.hadoop.mapred.InputSplit
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:323)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:307)
    at org.apache.hadoop.mapred.Child.main(Child.java:170)

14/01/29 14:23:08 INFO mapred.JobClient: Task Id : attempt_201401241441_0013_m_000000_1, Status : FAILED
java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast to org.apache.hadoop.mapred.InputSplit
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:323)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:307)
    at org.apache.hadoop.mapred.Child.main(Child.java:170)

14/01/29 14:23:14 INFO mapred.JobClient: Task Id : attempt_201401241441_0013_m_000000_2, Status : FAILED
java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast to org.apache.hadoop.mapred.InputSplit
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:323)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:307)
    at org.apache.hadoop.mapred.Child.main(Child.java:170)

14/01/29 14:23:23 INFO mapred.JobClient: Job complete: job_201401241441_0013
14/01/29 14:23:23 INFO mapred.JobClient: Counters: 3
14/01/29 14:23:23 INFO mapred.JobClient:   Job Counters 
14/01/29 14:23:23 INFO mapred.JobClient:     Launched map tasks=4
14/01/29 14:23:23 INFO mapred.JobClient:     Data-local map tasks=4
14/01/29 14:23:23 INFO mapred.JobClient:     Failed map tasks=1"

你能告诉我如何解决这个问题吗？我会感谢你的帮助。致以敬意，

Answer 1

安装了什么hadoop版本？您使用发行版附带的示例jar吗？错误表明hadoop使用的是旧的MR，jar使用的是新的MR。

Answer 2

在WindowsHadoop2.2.0或2.3.0中，在尝试所附示例时，错误java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast to org.apache.hadoop.mapred.InputSplit也经常发生。

在这种情况下，以的管理权限运行Hadoop。拥有创建符号链接的权限可能就足够了。使用bin\winutils.exe /?，您可以得到以下提示：

Windows中的默认安全设置不允许非提升管理员和所有非管理员创建符号链接。可以在本地安全策略管理控制台中更改符号链接的安全设置。

没有管理权限，我只能使用本地mapreduce (在mapred-site.xml中，将mapreduce.framework.name设置为local)来运行这些示例。

Answer 3

我确实有这个问题。我遵循了以下步骤：

1. 导航到%HADOOP_HOME%/etc/hadoop/
2. 分别打开"mapred-site.xml“和"mapred-site.xml.template”
3. 将"mapreduce.framework.name“改为”本地“