在Python中使用pickle高效地访问字典中的项目

Question

我有一个将键(字符串)映射到对象的大字典。我翻了一遍这本大字典，在某些时候，我只想从中抽出几个词条。这本词典通常有数千个词条。当我使用pickle加载字典时，如下所示：

from cPickle import *
# my dictionary from pickle, containing thousands of entries
mydict = open(load('mypickle.pickle'))
# accessing only handful of entries here
for entry in relevant_entries:
  # find relevant entry
  value = mydict[entry]

我注意到加载整个酸菜可能需要3-4秒，这是我不需要的，因为我稍后只访问字典条目的一个很小的子集(如上所示)。

我怎么才能让它变得更快，只加载字典中的条目呢？

谢谢。

Answer 1

如果你的对象是彼此独立的，你可以使用它们的键作为文件名来单独地对它们进行访问和解锁，在某种反常的情况下，目录是一种将文件名映射到文件的字典。这样，只加载相关条目就很简单了。

基本上，您使用内存字典作为缓存，如果缺少搜索键，则尝试从文件系统加载文件。

我并不是真的说你应该这么做。数据库(ZODB、SQLite等)可能更适合持久存储。

Answer 2

Pickle序列化对象(hierachies)，它不是磁盘存储。正如您所看到的，您必须解开整个对象才能使用它--这当然很浪费。使用shelve、dbm或数据库(SQLite)进行磁盘存储。

Answer 3

你必须有"Ghost“对象，即只是占位符的对象，并在访问时加载它们自己。这是一个困难的问题，但它已经解决了。您有两个选择。您可以使用ZODB中的持久化库，这对此很有帮助。或者，直接开始使用ZODB；问题就解决了。

http://www.zodb.org/