CeleryBeat进程消耗所有OS内存

Question

我们用的是

django-celery==3.1.10
celery==3.1.20
python 2.7.13

我们已经编写了一个CustomDataBaseScheduler来调度任务，它可以很好地按时安排任务。我们以init脚本的形式运行CeleryBeat进程，但celeryBeat在一天内消耗了系统的全部内存，即24 in。

我试着在celery节拍进程上运行pmap，但是它显示anon占用了最多的内存。

有人能帮我调试和修复这个问题吗？

Answer 1

首先，如果您在django 1.8或以上，请使用芹菜4.0及以上。那样的话，你就不需要姜戈芹菜了。同样，在这种情况下，请遵循本教程。http://docs.celeryproject.org/en/latest/django/first-steps-with-django.html

就你的问题而言，这可能是以下原因之一：

1. 你的工人负担过重。尝试像提到的这里那样使用并发性
2. 检查您的django设置DEBUG是否设置为True。当你运行它时，它会导致记忆泄漏，芹菜建议你不要这样做。
3. 检查历史中的内存泄漏修复。在我看来，它似乎是继您之后的下一个版本，确切地说，3.1.21有一些内存泄漏修复。尝试升级到最新的3.x版本(仅当您由于任何原因不能使用4.x时)。
4. 如果所有这些都失败了，请尝试一些监视工具来调试正在发生的场景。一些监控工具被提到了这里。