首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >芹菜消耗整个内存

问芹菜消耗整个内存
EN

Stack Overflow用户
提问于 2014-05-29 20:12:00
回答 1查看 323关注 0票数 0

我有一个关于芹菜的问题。

我正在向任务队列发送大量数据。

我只是用太多的任务数据尝试它,它不适合我的记忆。结果是芹菜被杀死了,因为它使用了整个系统内存。

消息不会写入磁盘(代理rabbitmq),尽管

代码语言:javascript
复制
CELERY_DEFAULT_DELIVERY_MODE = 'persistent'

已设置。

我的任务看起来像这样:

代码语言:javascript
复制
group(some_iterator).apply_async()

celery是否首先尝试序列化整个数据(我使用的是pickle),然后将其发送到任务队列?

如果我运行它,我可以看到任务被写入磁盘的数据越少。

谢谢你的帮忙!

EN

回答 1

Stack Overflow用户

发布于 2014-06-01 02:55:53

我发现了一种实现这种行为的可能性:

代码语言:javascript
复制
result_group = GroupResult(results = [])
for task_args task_arg_generator:
    task = analyze_task.delay(*task_args)
    result_group.add(task)


result_group.get()
# or :
result_group.join_native()

这将序列化并单独发送每个任务,并将其收集到可用于检索组结果的ResultGroup中。

但我选择的解决方案是将数据存储在数据库中,并让工作人员通过id获取数据。

希望对一些面临同样问题的人有所帮助!

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/23933034

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档