创建芹菜多队列

Question

我有一个配置文件，其中包含一个类别列表

cat_link = {'cat1':[link1,link2....],'cat2':[link3,link4....],'cat3':[link5,link6....],'cat4':[link7,link8....]}

我希望根据配置文件中定义的类别总数创建队列，并且在处理特定类别的链接时，每个队列都应该处理自己的链接集。

处理链接的任务是相同的。我只希望每个类别链接都应该在它们的特定队列中被处理。

应该是这样的：-

for category, link in cat_link.iteritems():
    process_link.apply_async(args=[link],
                             queue=category,)

如何创建动态队列，请记住，将来可以删除/添加任何类别？

我的celeryconfig应该是什么样的？目前它如下所示:-

BROKER_URL = 'amqp://'
CELERY_RESULT_BACKEND = 'amqp://'

CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'
CELERY_ACCEPT_CONTENT=['json']
CELERY_TIMEZONE = 'Europe/Oslo'
CELERY_ENABLE_UTC = True

#Should I read my `cat_link` config setting in a loop and then create the queues??

我见过不同任务的不同队列，但是对于同一任务是否可能有不同的队列呢？

Answer 1

如果动态地想要不同的队列，

process_link.apply_async(args=[link1],
                         queue=queue1)

process_link.apply_async(args=[link2],
                         queue=queue2)

此外，您还必须在配置文件中插入以下内容

CELERY_CREATE_MISSING_QUEUES = True

但是，您必须关心的一件事是，在启动worker时，必须将-Q‘队列名称’作为参数传递。

对于ex

celery -A proj worker -l info -Q queue1,queue2

用于从队列“队列名”中消费