在芹菜任务之间共享对象

Question

我有一个处理大约500 000个文件{Ai}的程序，对于每个文件，它将获取一个用于解析的定义{Di}。

现在，每个文件{Ai}被一个专用的芹菜任务解析，每次定义文件{Di}再次被解析以生成一个对象。此对象用于解析文件{Ai} (JSON表示)。

我想存储定义文件(生成的对象) {Di( object) }，使其可用于整个任务。

因此，我想知道怎样才是最好的选择：

1. Memcahe + Python-memcached，
2. 使用set(add)/get接口“存储”对象的长时间运行任务。

对于性能和内存的使用，最好的选择是什么？

Answer 1

使用Memcached听起来更简单--任务用于处理，memcached用于存储--为什么要使用一个任务来存储呢？

就我个人而言，我建议使用Redis而不是memcached。

另一种选择是尝试ZODB -它本机存储Python对象。如果您的应用程序确实受到序列化开销的影响，这可能会有所帮助。但是，我强烈建议在JSON/memcached上使用您的实际工作负载来测试这一点。