错误terasort.TeraSort:输入路径不存在:maprfs:/user/user 01/-dxmx1024m

Question

在通过修改参数运行terasort应用程序时，我得到了以下错误。

15/05/24 21:41:42错误terasort.TeraSort:输入路径不存在:maprfs:/user/user 01/-DXmx1024m

命令我正在运行以执行慢跑

$ hadoop jar /opt/mapr/hadoop/hadoop-0.20.2/hadoop-0.20.2-dev-\
examples.jar terasort –DXmx1024m –Dmapred.reduce.tasks=2 \
-Dio.sort.mb=1 /user/user01/6/TERA_IN /user/user01/6/TERA_OUT_2

如果我删除这些参数–DXmx1024m –Dmapred.reduce.tasks=2 -Dio.sort.mb=1，那么一切都正常。

我想我面临的是下面的bug，它是在jira上发布的，但它是针对windows https://issues.apache.org/jira/browse/HADOOP-8536的

Answer 1

这只是来自MapR实验室指南的一个拷贝/粘贴问题。

只需从VM输入参数中更改“-”到“-”即可。

请参见使用复制/粘贴执行：

-bash-4.1$ hadoop jar /opt/mapr/hadoop/hadoop-0.20.2/hadoop-0.20.2-dev-\
> examples.jar terasort –DXmx1024m –Dmapred.reduce.tasks=2 \
> -Dio.sort.mb=1 /user/user01/6/TERA_IN /user/user01/6/TERA_OUT_2
15/10/26 15:24:57 INFO terasort.TeraSort: starting
15/10/26 15:24:59 ERROR terasort.TeraSort: Input path does not exist: maprfs:/user/user01/–DXmx1024m
-bash-4.1$

请参见已修复命令行的执行：

-bash-4.1$ hadoop jar /opt/mapr/hadoop/hadoop-0.20.2/hadoop-0.20.2-dev-examples.jar terasort -DXmx1024m -Dmapred.reduce.tasks=2 -Dio.sort.mb=1 /user/user01/6/TERA_IN /user/user01/6/TERA_OUT_2
15/10/26 15:25:26 INFO terasort.TeraSort: starting
15/10/26 15:25:27 INFO input.FileInputFormat: Total input paths to process : 2
....

Answer 2

你跑得快，跑得快吗？

您使用的是什么文件系统？为什么是“地图”。如果不是故意的，请检查配置文件。

15/05/24 21:41:42 ERROR terasort.TeraSort: Input path does not exist: **maprfs**:/user/user01/–DXmx1024m