从执行时间为true的函数返回对象

Question

以一种非常天真的方式，我试图保存到一个gzip文件。我在一个单独的线程中将该文件的队列块添加到队列中，因为gzip压缩的开销相当大。我在internet中找到的使用多线程的最简单的解决方案是定义一个新函数，它以这种方式从队列中读取：

def savegz(filegz, workQueue):
  while True:
    user_list = workQueue.get()
    print 'start'
    for chunck in user_list: 
      filegz.writelines(chunck)
    print 'end'
    workQueue.task_done()

...
workQueue = Queue(0)
thread1 = Thread(target=savegz, args=(filegz, workQueue))
thread1.setDaemon(True)
thread1.start()
...
for user_list in something(a):
  workQueue.put(user_list)
...
workQueue.join()
filegz.close()

但这样它就永远不会印出“终点”。我知道这不是保存文件的好方法，但我认为问题是我从来不返回filegz。但我不想退货，因为这样我就退出了。我看到了产量函数，但我不认为它会起作用。

Answer 1

我认为thread1不应该是守护进程，或者您应该在thread1上使用join。

您需要一种方法来通知thread1，没有更多的项目。您可以在队列上放置一个特殊值，以指示如下：

def savegz(filegz, workQueue):
  while True:
    user_list = workQueue.get()
    if user_list == None:
      break
    print 'start'
    for chunck in user_list:
      filegz.writelines(chunck)
    print 'end'
    workQueue.task_done()

...
workQueue = Queue(0)
thread1 = Thread(target=savegz, args=(filegz, workQueue))
thread1.setDaemon(False)
thread1.start()
...
for user_list in something(a):
  workQueue.put(user_list)
...
workQueue.put(None)