我有一个关于芹菜的问题。
我正在向任务队列发送大量数据。
我只是用太多的任务数据尝试它,它不适合我的记忆。结果是芹菜被杀死了,因为它使用了整个系统内存。
消息不会写入磁盘(代理rabbitmq),尽管
CELERY_DEFAULT_DELIVERY_MODE = 'persistent'已设置。
我的任务看起来像这样:
group(some_iterator).apply_async()celery是否首先尝试序列化整个数据(我使用的是pickle),然后将其发送到任务队列?
如果我运行它,我可以看到任务被写入磁盘的数据越少。
谢谢你的帮忙!
发布于 2014-06-01 02:55:53
我发现了一种实现这种行为的可能性:
result_group = GroupResult(results = [])
for task_args task_arg_generator:
task = analyze_task.delay(*task_args)
result_group.add(task)
result_group.get()
# or :
result_group.join_native()这将序列化并单独发送每个任务,并将其收集到可用于检索组结果的ResultGroup中。
但我选择的解决方案是将数据存储在数据库中,并让工作人员通过id获取数据。
希望对一些面临同样问题的人有所帮助!
https://stackoverflow.com/questions/23933034
复制相似问题