饥饿的Python工作线程中的内存泄漏

Question

我有几个工作人员在监听RabbitMQ队列，他们正在做一些磁盘I/O密集型工作-打开大约18MB的文件，进行一些解析并写入一些文件。在处理一个作业时，工作人员可能会占用高达200MB的内存。这个很好。

然而，我的问题是，worker继续处于空闲状态，并且仍然保留了这么多内存。我盲目地尝试在工作完成后使用gc.collect()手动执行一些垃圾收集，但没有任何结果。

接收作业的worker类如下所示：

class BuildWorker(worker.Worker):

    def callback(self, ch, method, properties, body):
        fp = FileParseAndStuff()
        fp.execute_job(ch, method, properties, body)
        fp = None

这里fp中发生的所有事情都应该包含在内存中，并在我将该对象设置为None后删除。我也尝试过使用Python的del语句，但没有任何改进。

我使用Python2.7和python-pika与RabbitMQ服务器进行通信。

Answer 1

在fp = None之前添加一个标记，比如“write to a file”或print to console。当您调用del或gc.collect()时，您的worker可能还不在那里。如果是，请检查您的execute_job方法。