在ubuntu的后台运行时，爬虫停止。

Question

我使用具有无限循环的python制作了一个简单的爬虫，所以它不能停止。随机延迟17 ~ 30，这个爬虫爬行相同的一个页面，并找到'href‘链接，定期更新，并存储到Mysql。我使用了Ubuntu服务器。因为我使用了Linux命令

$ nohup python crawer.py & 

这个爬虫是在Ubuntu服务器背景下运行的。我想它已经运行了大约4个小时。但爬虫突然停止了。第二天我再试一次。而且效果很好！有什么问题吗？这是关于网页的块吗？或者nohup命令有限制时间？非常感谢。

Answer 1

不，nohup会做它想做的事。这就是：

nohup实用程序使用其参数调用实用程序，此时将信号SIGHUP设置为被忽略。如果标准输出是termi nal，则将标准输出附加到当前目录中的文件nohup.out。如果标准错误是终端，则指向与标准输出相同的位置。一些shell可能提供一个内置nohup命令，它与此实用程序类似或类似。参考内置(1)手册页。

Bash的(和其他shell) &将作为任务的背景。Nohupwith&有效地让进程在后台运行，甚至在终止tty/pty会话时也是如此。

我认为问题在于这里的Python程序正在崩溃。你应该花点时间在一些日志上，然后找出答案。例如：

nohup my_app.py &> myapp.log &