我需要使用一个特定的anaconda环境运行python脚本,因为我需要每天多次执行这个脚本,我想使用linux文件(/etc/ crontab )来执行它。
当我从linux命令行启动脚本时,它工作得很好:
~/anaconda2/envs/py36/bin/python ~/production/web_scraping.py我将进程添加到crontab文件中:
SHELL=/bin/sh
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
# m h dom mon dow user command
57 08 * * * user ~/anaconda2/envs/py36/bin/python ~/production/web_scraping.py | touch ~/test.txt该行由cron正确执行,这是cron日志:
user@exmachina:~$ sudo cat /var/log/syslog | grep web_*
Jan 2 08:57:02 localhost CRON[10854]: (user) CMD (~/anaconda2/envs/py36/bin/python ~/web_scraping.py | touch ~/test.txt) 我将| touch test.txt添加到cron行,以确保行被执行,并生成test.txt文件。
python脚本使用Selenium从网页中提取数据,方法是使用chrome。这是否是脚本从命令行运行良好,而不是从cron文件运行良好的原因呢?
谢谢你的帮忙!
发布于 2018-01-06 23:41:00
与| touch ~/test.txt不同,使用| tee ~/test.txt (或tee -a)会提供更多的信息。
考虑将env|sort; id; date合并到您记录的输出中。
您在描述selenium脚本以及从cron中“运行不太好”的方式时非常模糊。是所有的imports都成功了,还是PYTHONPATH也许不正确?运行conda env update -f environment.yml,然后拥有cron作业source activate xxx,这样作业就能获得适当的库版本,这样会有帮助吗?
一些变量(包括PATH和LD_LIBRARY_PATH )对于浏览器来说可能很重要,当您查看记录的值时,您可能会看到它们与selenium工作正常的交互环境不同。设置cron作业的一部分是复制环境的各个方面,这样作业就会成功。
https://unix.stackexchange.com/questions/414283
复制相似问题