RQ Worker批量处理作业

Question

假设您有一个包含许多作业的RQ队列，该队列从各种来源获得填充。

这些作业会更有效地批量处理，例如一次拉动和处理100个作业。

您将如何在RQ中实现这一点？

您是需要编写一个custom Worker class来一次提取多个作业，还是需要编写一个custom Queue Class来在批处理作业发出时进行批处理，或者其他一些方法？

谢谢

Answer 1

我认为像RQ一样基于redis的Tasktiger可以更好地满足您的需求。从自述文件中：

批处理队列

批处理队列可用于将多个排队的任务合并为一个。这样，您的任务函数可以同时处理多组参数，从而提高性能。批量大小是可配置的。