无重复的应用程序作业提交

Question

我们使用的是DataStax Spark6.0。我们使用crontab提交作业，每5分钟运行一次。我们编写了脚本来检查它是否正在运行，以避免重复提交相同的应用程序。有没有办法在Spark级别停止作业提交或将作业保留在队列中，以避免相同应用程序的重复作业。

谢谢Rakesh

我尝试只使用Crontab

Answer 1

你可以使用oozie来安排你的spark任务。