在oozie工作流中获取oozie作业信息
在oozie工作流中获取oozie作业信息
提问于 2018-01-12 14:39:36
通过在命令行上使用以下命令，我们可以获得oozie作业的作业详细信息，尽管该作业仍在进行中。
export OOZIE_URL=http://..../oozie
oozie job -info 0177204-172227110941438-oozie-oozi-Woozie工作流正在运行，在最后一个shell操作中，我试图将作业信息详细信息捕获到一个文件中。
job.sh
------------
job_id=${1}
export OOZIE_URL=http://..../oozie
oozie job -info job_id >> /tmp/job_id.txt但是上面的命令不起作用。有没有一种方法，我们如何在正在运行的oozie作业中获得作业信息细节，并将其存储在文本文件中。
回答 2
Stack Overflow用户
发布于 2018-07-06 13:33:18
我希望你在一个集群上运行你的命令，你可以从这个集群中获取信息/终止/启动oozie作业。如果是这种情况，那么您的命令应该可以很好地工作。我尝试了下面的命令，我能够看到结果。
cluster:~$ oozie job -info job-id -oozie http://gateway-url/oozie/ > a.txt
cluster:~$ cat a.txt输出结果为：
Job ID : job-id
------------------------------------------------------------------------------------------------------------------------------------
Workflow Name : workflow-name
App Path : hdfs://path/to/workflow.xml
Status : RUNNING
Run : 0
User : user-id
Group : -
Created : 2018-07-05 22:30 GMT
Started : 2018-07-05 22:30 GMT
Last Modified : 2018-07-06 05:17 GMT
Ended : -
CoordAction ID: coordinator-id@410
Actions
------------------------------------------------------------------------------------------------------------------------------------
ID Status Ext ID Ext Status Err Code
------------------------------------------------------------------------------------------------------------------------------------
job-id@:start: OK - OK -
------------------------------------------------------------------------------------------------------------------------------------
job-id@action1 OK - action2 -
------------------------------------------------------------------------------------------------------------------------------------
job-id@action2 OK - OK -
------------------------------------------------------------------------------------------------------------------------------------
job-id@action3 OK - action4 -
------------------------------------------------------------------------------------------------------------------------------------
job-id@action4 OK MR_job_id1 SUCCEEDED -
------------------------------------------------------------------------------------------------------------------------------------
job-id@action5 OK MR_job_id2 SUCCEEDED -
------------------------------------------------------------------------------------------------------------------------------------
job-id@action6 OK - action7 -
------------------------------------------------------------------------------------------------------------------------------------
job-id@action7 OK MR_job_id3 SUCCEEDED -
------------------------------------------------------------------------------------------------------------------------------------
job-id@action8 OK MR_job_id4 SUCCEEDED -
------------------------------------------------------------------------------------------------------------------------------------
job-id@action9 RUNNING MR_job_id5 RUNNING -
------------------------------------------------------------------------------------------------------------------------------------ Stack Overflow用户
发布于 2018-01-30 04:09:06
- 是否确定已在群集中的正确节点上检查了结果？您可以将其上传到HDFS以方便访问：
如果您使用hdfs:///tmp/job_id.txt
- You选项运行
oozie job，hadoop fs job /tmp //tmp_id.txt/tmp#和hadoop fs -catoozie job可以收集更多的调试数据。然后检查Oozie生成的url是否正确(例如，通过将其粘贴到浏览器)。如果您的
- 脚本的输入参数(作业id)设置正确，那么您的Oozie url可能有问题- shell shell验证。要在Oozie工作流中访问作业id，可以使用
${wf:id()}.
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/48220856
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号