用Azkaban处理故障

Question

有一种方法可以控制在作业失败后发生在Azkaban中的事情，我的意思是，如果特定的任务失败了，就执行特定的事情，让我们假设蜂窝的负载失败了，我想把错误发送到splank，可以吗？或者我应该创建特定的作业来插入并像python一样处理失败。

谢谢

Answer 1

我处理这个问题的方法是有一个下面的作业，它使用command作业类型运行脚本。我让我的脚本检查错误条件，然后只在发现错误时执行和操作。

#!/bin/bash
check=${./_check_script.sh $arg1 $arg2}
if [ -z $check ]; then 
  echo "ERROR FOUND"
  ./_error_action.sh $arg1 $arg2
fi

请注意，在运行任何脚本之前，必须允许Azkaban用户(chmod +x)执行脚本。由于使用.zip作为上载格式，它们不会继承权限。

type=command
command=chmod +x _alert_for_error.sh
command.1=chmod +x _check_script.sh
command.2=chmod +x _error_action.sh
command.3=./_alert_for_error.sh