我创建了一个在ec2实例上运行python脚本的dag。python脚本大约需要2-3个小时才能完成,因此我在SSHOperator中添加了nohup命令。如何检查ec2 python脚本工作是否已经完成?我已经考虑过更新环境变量,如果变量在3小时内没有更新,那么dag就会出错。我不知道该如何去做,如果有一个特定的操作符,我可以用它来完成这个任务。或者,任何其他最佳做法的建议都会受到深切的赞赏。
t2 = SSHOperator(
ssh_conn_id='ec2_worker',
task_id='execute_script',
command='nohup python me_script.py &',
dag=dag)发布于 2020-05-25 15:38:05
当脚本完成时,您可以让它将一个成功的文件写到某个已知的位置,然后让SFTPSensor检查它。
https://stackoverflow.com/questions/61994943
复制相似问题