cygwin hadoop map-reduce问题

Question

我在获取map/reduce示例以在cygwin上工作时遇到了问题：http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/

在cygwin下，传递-mapper=mapper.py会导致"CreateProcess error=193，%1不是有效的Win32应用程序“

我尝试使用-mapper="python mapper.py"，它给出错误: java.lang.RuntimeException: PipeMapRed.waitOutputThreads()：子进程失败，代码为1

有没有人在cygwin下用python成功运行过hadoop map/reduce？

谢谢。

Answer 1

在Cygwin的指导下，我已经取得了成功。我在WinXP上使用Cygwin 1.7.9-1下的hadoop-0.20.2。我还没看过你的确切信息。不过，我之所以回答这个问题，是因为我在使用-mapper选项时确实遇到了一些问题，并通过将python脚本放在/tmp目录中解决了这个问题。我看到了一些错误消息，这让我觉得在Cygwin下/home目录的命名方式有些混乱。我决定通过使用/tmp来避免这种情况，并取得了成功。顺便说一句，我也用了单引号。有时，在Windows中粘贴双引号会给您一个Unix进程无法识别的字符。

顺便说一句，我也使用了教程re。在Cygwin和Eclipse下运行Hadoop：http://ebiquity.umbc.edu/Tutorials/Hadoop/接近尾声的Eclipse/java的东西对我不起作用，也不是我计划使用Hadoop的方式。不过，最初的几个步骤对创建伪集群很有帮助。