Hadoop缺少HDFS中存在的输入

Question

晚上好，

我尝试在Hadoop mapreduce上运行训练样本，但收到输入路径不存在的错误。

16/09/26 05:56:45 ERROR streaming.StreamJob: Error Launching job : Input path does not exist: hdfs://bigtop1.vagrant:8020/training

但是，查看hdfs目录，可以清楚地看到"training“文件夹。

[vagrant@bigtop1 code]$ hadoop fs -ls
Found 3 items
drwx------   - vagrant hadoop          0 2016-09-26 05:47 .staging
drwxr-xr-x   - vagrant hadoop          0 2016-09-26 04:28 hw2
drwxr-xr-x   - vagrant hadoop          0 2016-09-26 04:14 training

使用HDFS命令：

[vagrant@bigtop1 code]$ hdfs dfs -ls training
Found 2 items
-rw-r--r--   3 vagrant hadoop          0 2016-09-26 04:14 training/_SUCCESS
-rw-r--r--   3 vagrant hadoop    3311720 2016-09-26 04:14 training/part-r-00000

有人知道Hadoop会丢失清晰存在的数据的可能原因吗？

下面的调用，必须隐藏一个输入(-f)：

hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -D mapreduce.job.reduces=5 -files lr -mapper "python lr/mapper.py -n 5 -r 0.4" -reducer "python lr/reducer.py -e 0.1 -c 0.0 -f ####" -input /training/ -output /models

Answer 1

请将输入参数更改为如下所示。

从…

-input /training/

至

-input training/

Answer 2

当您运行$ hadoop fs -ls时，它会显示当前用户主目录中的数据。

是否确定数据的路径不是/user/vagrant/

如果在运行$ hadoop fs -ls /时training目录不存在，那么您的路径就错了。

Answer 3

请将输入参数更改为如下所示。

-input hdfs://<machinename>/user/vagrant/training/