cron中的spark-submit调度

Question

我想在crontab中安排一个pyspark脚本，每5分钟运行一次。我已经使用以下命令成功地手动启动了脚本：

spark-submit script.py

问题是，当从crontab启动时，相同的命令似乎不起作用。日志不显示任何细节(它们被截断)

*/5 * * * * /path/script.sh

script.sh文件包含: spark-submit script.py

如果你对如何解决这个问题有任何想法，请告诉我。

Answer 1

您应该将其放在一个bash文件中，并在cron上运行以下代码：

Bash文件Your_Script.sh

#!/bin/bash
echo "RUNNING JOB"
/opt/mapr/spark/spark-1.5.2/bin/spark-submit /Path/To/Your_Script.py parama1

所以你可以很容易地从crantab运行它，如下所示：

32 18 * * *  /Path/To/Your_Script.sh

Answer 2

我和你遇到了同样的问题。我通过两个步骤解决了它：

1. 参见cron日志:在Centos中，日志的路径为/var/spool/
2. /${username}。我的日志显示:找不到hadoop和$JAVA_HOME
3. source /etc/profile：因为$JAVA_HOME和$HADOOP_HOME配置在我的操作系统的/etc/profile中。如果在~/.bashrc中配置了$JAVA_HOME和$HADOOP_HOME，则应使用source ~/.bashrc