Beanstalkc超时问题

Question

我在Python中使用beanstalkc作为程序的队列进程，该程序必须解析URL列表。因此，我使用超时在豆茎，以避免大量的时间消耗任何网址。但是即使在使用它之后，我的进程也不会超时，并且需要大量的时间来解析一些URL。我使用以下代码：

for seed in seedlist:
    print 'Put data: %s' % seed
    bean.put(seed,ttr =5)
while True: 
    job = bean.reserve() 
    spider.spider(job.body)
    print 'Got data: %s' % job.body

Answer 1

我想你误解了beanstalkd的TTR超时的目的。引用beanstalkd常见问题

是如何工作的？ TTR只适用于在职务被保留的时候。在这种情况下，一个计时器(作业统计中称为“时间-左”)开始从作业的TTR中计数。

• 如果计时器达到零，作业将被放回就绪队列中。
• 如果作业在计时器用完之前被掩埋、删除或释放，则定时器将停止存在。
• 如果任务在计时器达到零之前被“触摸”，则计时器从TTR开始重计数。

(没有保留的作业的作业状态仍然包含一个“时间-左”项，但它的值没有意义。)

因此TTR不能帮助您“避免任何URL消耗的大量时间”。它不会神奇地杀死您的工作进程。它所做的就是，beanstalkd将一个作业放回队列中，如果一个工人在给定的时间间隔( TTR)后没有将作业标记为已完成。