首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在Anaconda环境中从cron运行python代码

问在Anaconda环境中从cron运行python代码
EN

Unix & Linux用户
提问于 2018-01-02 10:42:09
回答 1查看 4K关注 0票数 1

我需要使用一个特定的anaconda环境运行python脚本,因为我需要每天多次执行这个脚本,我想使用linux文件(/etc/ crontab )来执行它。

当我从linux命令行启动脚本时,它工作得很好:

代码语言:javascript
复制
~/anaconda2/envs/py36/bin/python ~/production/web_scraping.py

我将进程添加到crontab文件中:

代码语言:javascript
复制
SHELL=/bin/sh
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
# m h dom mon dow user  command
57 08 * * * user ~/anaconda2/envs/py36/bin/python ~/production/web_scraping.py | touch ~/test.txt

该行由cron正确执行,这是cron日志:

代码语言:javascript
复制
user@exmachina:~$ sudo cat /var/log/syslog | grep web_*
Jan  2 08:57:02 localhost CRON[10854]: (user) CMD (~/anaconda2/envs/py36/bin/python ~/web_scraping.py | touch ~/test.txt) 

我将| touch test.txt添加到cron行,以确保行被执行,并生成test.txt文件。

python脚本使用Selenium从网页中提取数据,方法是使用chrome。这是否是脚本从命令行运行良好,而不是从cron文件运行良好的原因呢?

谢谢你的帮忙!

EN

回答 1

Unix & Linux用户

发布于 2018-01-06 23:41:00

与| touch ~/test.txt不同,使用| tee ~/test.txt (或tee -a)会提供更多的信息。

考虑将env|sort; id; date合并到您记录的输出中。

您在描述selenium脚本以及从cron中“运行不太好”的方式时非常模糊。是所有的imports都成功了,还是PYTHONPATH也许不正确?运行conda env update -f environment.yml,然后拥有cron作业source activate xxx,这样作业就能获得适当的库版本,这样会有帮助吗?

一些变量(包括PATH和LD_LIBRARY_PATH )对于浏览器来说可能很重要,当您查看记录的值时,您可能会看到它们与selenium工作正常的交互环境不同。设置cron作业的一部分是复制环境的各个方面,这样作业就会成功。

票数 0
EN
页面原文内容由Unix & Linux提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://unix.stackexchange.com/questions/414283

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档