首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Oozie中的MapReduce作业可以从文件中读取吗?

Oozie中的MapReduce作业可以从文件中读取吗?
EN

Stack Overflow用户
提问于 2015-08-05 08:31:33
回答 1查看 602关注 0票数 1

当在Oozie中创建工作流时,我有了第一个java步骤,它生成一个文件,其中包含下一步所需的文件列表(映射-约简)。我怎样才能用那个文件给地图减少作业呢?

我知道我可以在java步骤的捕获输出框中打勾,然后在map中使用mapred.input.dir -还原步骤来使用捕获的输出作为输入。但我想把自己从这件事中解脱出来。

为了记录在案,我的文件的内容看起来如下:

/data/kafka/4/camus/DATA.TRADE.ORDERHISTORY/daily/2015/07/18,/data/kafka/4/camus/DATA.TRADE.ORDERHISTORY/daily/2015/07/19,/data/kafka/4/camus/DATA.TRADE.ORDERHISTORY/daily/2015/07/20,/data/kafka/4/camus/DATA.TRADE.ORDERHISTORY/daily/2015/07/21,/data/kafka/4/camus/DATA.TRADE.ORDERHISTORY/daily/2015/07/22,/data/kafka/4/camus/DATA.TRADE.ORDERHISTORY/daily/2015/07/23,/data/kafka/4/camus/DATA.TRADE.ORDERHISTORY/daily/2015/07/24,/data/kafka/4/camus/DATA.TRADE.ORDERHISTORY/daily/2015/07/25,/data/kafka/4/camus/DATA.TRADE.ORDERHISTORY/daily/2015/07/26,/data/kafka/4/camus/DATA.TRADE.ORDERHISTORY/daily/2015/07/27,/data/kafka/4/camus/DATA.TRADE.ORDERHISTORY/daily/2015/07/28

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2015-08-05 21:40:57

要将该文件用作输入文件还是参数文件??

在第二个案例中,

  • 激活初始操作的选项
  • 输出类似于“medi.file=/a/b/c/z.txt”的内容
  • 在下一个操作中,使用适当的EL函数检索文件名,并将其作为或传递 ${wf:actionData("InitialActionName")"param.file"}
  • 然后使用几行Java打开HDFS文件,并在执行实际的Map或减少工作之前,对内容做任何应该做的事情
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/31827314

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档