在哪里可以找到安装和运行cascading.jruby的教程？

Question

我已经安装了Hadoop并进行了很好的测试，但是无法找到n00b的任何说明。

如何设置级联和cascading.jruby。在哪里放置级联罐，以及如何配置jading以正确构建ruby程序集？

有人用jenkins自动构建这个程序吗？

编辑:我正在尝试从https://github.com/etsy/cascading.jruby构建示例单词计数作业的更多细节

我安装了

1. 并且成功地运行了测试。
2. 安装jruby
3. gem安装cascading.jruby
4. jade - https://github.com/etsy/jading
5. 安装蚂蚁
6. 创建单词计数示例wc.rb
7. 运行jade将wc.rb编译成jar jade wc.rb
8. 我得到以下编译错误 构建文件: build.xml不存在！构建失败的RuntimeError: Ant检索失败(根)在/usr/bin/hjade:89

看玉代码有什么意义，但这在示例用法中没有提到吗？我在这里错过了什么？

Answer 1

抱歉耽搁了，这是我的第一个回答。

您描述的问题-- Jading在从符号链接调用时无法定位其Ant构建脚本--确实是一个问题。我建议只在路径中添加Jading克隆，而不是创建符号链接(或者提交一个pull请求来修复问题!)。

为了解决您的其他一些问题，我在Jading中创建了一个快速入门页面，这可能会有所帮助。它帮助您完成本地和远程cascading.jruby作业的启动和运行，而无需安装除preqs (Java、Ant、JRuby和Hadoop client+config)之外的任何东西。现在包含的是一个完整的wordcount脚本，它应该可以在本地和Hadoop集群上运行，并且已经在Etsy自己的内部集群上进行了测试。

为了解决您关于Jenkins的问题，进一步备份，是的，在Etsy，我们使用Jenkins构建和部署cascading.jruby (和烫伤)到我们的集群。但是，该构建过程目前并不使用Jading来生成作业jar。我们的构建早在Jading和Jading之前，是为了发布一个更干净的版本，我们通过这个过程来构建那个罐子。我们的构建可以很容易地使用Jading (最初的示例来自于代码的实际使用)，但是我们对构建产生的工件的需求略有不同。

如果您有任何其他问题与Jading，请随时提交问题或拉请求到github项目。

Answer 2

如果你在使用jruby。你一定也在用邦德勒。在这种情况下，可以将cascading.jruby作为依赖项添加到您的you文件中。

无论如何，您可以尝试从项目文件夹安装如下：

gem install 'cascading.jruby'

希望这能有所帮助。

Answer 3

我已经把工作结束了。我在/usr/local/bin中创建了到hadoop的符号链接，并对二进制文件进行了强制执行。

脚本需要从它们自己的目录中运行，以便找到支持文件。

例如，以下工作：(假设cascading.jruby示例位于~/dev/cascading.jruby.demo/wc.rb中)

cd /usr/local/jading
./jade ~/dev/cascading.jruby.demo/wc.rb

# creates a jade.jar locally in jading folder
cd /usr/local/hadoop
./bin/hadoop jar /usr/local/jading/jade.jar ~/dev/cascading.jruby.demo/wc.rb ~/dev/cascading.jruby.demo/sampledata/in.txt