目前,我很难让Oozie在我的hadoop安装上正常工作。任何输入都是非常感谢的,因为我是所有这一切的完全初学者。我使用:Hadoop2.6.0(与Yarn一起使用),oozie 4.0.1,hive 1.0.0,hue 3.7.1,pig 0.12,它是我在伪分布式环境下运行的本地安装。我安装了tars中的所有内容,并手动配置了它,因为遗憾的是,单击cloudera的在OS中无法工作。
据我所知,在CLI和Hue两种语言中,Hadoop+Hive似乎都很好。
来自Hue的Pig编辑器还不能完全工作,我可以访问和使用HDFS中的文件,但是当我尝试使用HCatalog访问Hive表时(ERROR 2245:无法从loadFunc org.apache.hcatalog.pig.HCatLoader获得模式)会出现一个错误。
但是现在更重要的是,Oozie调度程序不能工作。例如,当我试图在Oozie工作流中运行一个which脚本时,我会得到以下错误:
无法运行程序"testscript.sh“(在目录testscript.sh error=2中,没有这样的文件或目录)
现在我试着理解这里发生了什么: Hadoop试图在appcache dir中缓存什么?剧本?(脚本本身不涉及I/O --它只是一个简单的shell命令)
Afaik它的hadoop缓存在那些目录中,而不是Oozie,对吗?那么为什么Oozie不能找到应用程序容器呢?如果Hadoop在缓存方面有问题或错误配置,我可以使用Hive运行mapreduce作业,这也不起作用吗?
我基本上遵循这个指南http://gauravkohli.com/2014/08/26/apache-oozie-installation-on-hadoop-2-4-1/来安装Oozie,但我跳过了这个部分,他将pom.xml重新配置为一个不同的hadoop版本,因为2.6.0没有任何存储库。
我刚用"mkdistro.sh -P hadoop-2 -DskipTests"为Hadoop2.3.0版构建了它,然后用2.6.0版本的版本替换了/libext dir中的库
之后,我将*-site.xml文件从hadoop/conf链接到oozies /conf/hadoop-conf文件夹。
Oozie服务器已经启动并响应,从Hue运行了一个简单的Pig脚本,它使用Oozie也很好(除了上面提到的例外)。
发布于 2015-04-09 09:46:27
创建shell操作时,需要在两处指定shell脚本。
Files框告诉Oozie将shell脚本复制到为作业运行创建的目录中。
https://stackoverflow.com/questions/29391444
复制相似问题