基于PostgreSQL的异步作业处理

Question

我搜索异步作业处理系统，如芹菜或python-rq，但基于PostgreSQL。

所需特征：

• 作业异步处理
• 使用PostgreSQL
• 用于Python的API
• 以独立于语言的格式存储消息(json，yaml，protcol，.)不是蟒蛇泡菜。
• 开源

为什么PostgreSQL：

• 我们已经使用了postgreSQL
• 大多数工作都不会失去。这不是Redis和RabbitMQ的默认设置。
• 我们每小时只有很少的工作。简单比性能更重要。
• 芹菜太大了

关于SELECT FOR UPDATE .. SKIP LOCKED的相关文章，在PostgreSQL 9.5：https://blog.2ndquadrant.com/what-is-select-skip-locked-for-in-postgresql-9-5/中介绍

Answer 1

这个方法并不能解决所有想要的特性，但它们中的大多数：

https://www.npmjs.com/package/pg-boss

它基于node.js，而不是Python。

它使用PostgresSQL和新的跳过锁定特性。