我正在尝试运行基本的嵌入式Pig Java代码。
我正在从一台远程计算机访问Hadoop集群。
HadoopVersion:2.0.0-cdh4.3.0,PigVersion:0.11.0-cdh4.3.0
代码如下所示:
Properties lProperties = new Properties();
lProperties.setProperty("fs.defaultFS", "<server>:<hdfsport>");
lProperties.setProperty("yarn.resourcemanager.address", "<server>:<port>");
try {
PigServer pigServer = new PigServer(ExecType.MAPREDUCE,lProperties);
pigServer.registerQuery("A = load '/input_data/pig_input.txt' as (key,name);");
pigServer.registerQuery("B = foreach A generate $0 as id;");
pigServer.store("B", "test_output");
}我能够运行猪命令以及猪脚本独立使用PuTTy SSH。然而,在Eclipse IDE中运行上面的Java代码时,我得到了以下错误:
java.io.IOException: Cannot run program "cygpath": CreateProcess error=2, The system cannot find the file specified
是否必须安装Cygwin才能在Java中成功运行Embedded Pig?
发布于 2014-01-15 05:31:58
对于猪版本,0.11 Cygwin是一个依赖项。从0.12版本开始,不再需要Cygwin,但您可能仍然需要安装一些基本的实用程序,如sed和gzip。
https://stackoverflow.com/questions/21107285
复制相似问题