Hortonworks Hue Oozie流作业在使用“添加文件”部分(shells脚本)时失败

Question

我安装了HDP 2.x和色调。(2个主机)

我需要解决这个问题，因为我对oozie工作流并不熟悉。我遵循了这里的示例：http://www.oraclealchemist.com/news/hadoop-streaming-hue-oozie-workflows-hive/，如果我在所有主机中只在各自的路径上有映射器和还原器，它就能很好地工作。我看到ambari烟雾测试Oozie是可以的，但是当我提交一个来自Oozie的Hue UI的流作业时，映射器和还原器中执行单词计数(术语频率)的shell脚本，我想在oozie工作流编辑器中使用"Add File“( hadoop命令行中的-file)部分，并将mapper和还原器上传到HDFS。在此更改并提交此作业后，出现了一个错误。对于所有的map任务尝试，我都会得到以下错误：

2013年-12-16 19:21:24,278错误主org.apache.hadoop.streaming.PipeMapRed:配置异常java.io.IOException:无法运行程序java.io.IOException: error=2，没有这样的文件或目录

这意味着它无法在oozie/mapred/纱线创建文件的路径上找到映射器和减速器。我有任何oozie配置和工作流问题吗？(电子邮件记录: sandeepboda91083@gmail.com)

在HDFS中，我在root用户下正确地设置了所有路径和文件。

注意:我可以在没有oozie的情况下运行流作业：

cd /root/mrtest/
ls
-rwxrwxrwx 1 root root 235 Dec 11 11:37 maptf.sh
-rwxrwxrwx 1 root root 273 Dec 11 11:37 redtf.sh

hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming-2.2.0.2.0.6.0-76.jar -D stream.num.map.output.key.fields=1 -input crane_in1 -output crane_out2 -file ./maptf.sh -mapper maptf.sh -file ./redtf.sh -reducer redtf.sh

好像我不能在这里附加日志。请把文件和日志寄给我。

Answer 1

这可能是与色调表上的这些用户相同的问题。

如果您使用“文件浏览器”编辑了该文件，它们可能会因为一些非Unix新行而损坏。您应该直接上传它们，而不是修改它们，或者使用最新版本的色调 (在此编写时为3.5)。