我在芹菜服务器上运行了一个原子事务,它消耗了大量的内存,但是在任务完成后内存无法释放。
对我有效的解决方案是在N项任务后杀死芹菜工人,即使用- CELERYD_MAX_TASKS_PER_CHILD.。
这个问题还有别的解决办法吗?如果芹菜每天收到大约10,000个任务,那么应该为CELERYD_MAX_TASKS_PER_CHILD,设置什么好的数量?
发布于 2019-10-27 06:00:43
芹菜上有一种公开发行,值得一看。
您的解决办法是相当公平的,也是我们在我们自己的业务中使用的,而且很简单。值得注意的是,芹菜使用了员工池,这意味着它不会在每个任务之后杀死工作进程,并将它们用于下一个任务,这显然意味着进程级的资源会随着时间的推移而泄漏。
您可以测量进程启动和死亡所需的时间。例如,如果您的任务需要20次,进程启动和最终结束需要2秒,并且您可以容忍5%的开销,那么您可以将CELERYD_MAX_TASKS_PER_CHILD参数设置为2,这取决于您可以容忍的开销和泄漏量。
https://stackoverflow.com/questions/58340660
复制相似问题