问通过序列化或内存中KV存储缓存Pandas Dataframe
EN

Stack Overflow用户

提问于 2015-10-15 22:05:46

回答 1查看 1.8K关注 0票数 0

哪种缓存pandas DataFrame对象的方法将提供最高的性能？通过使用pickle将其存储到磁盘上的平面文件中，还是将其存储在诸如Redis之类的键值存储中？

发布于 2015-10-15 23:26:25

我有大约1 GB的纯文本数据的DF。假设转储到磁盘的速度总是比读取速度慢，我将HDF5写入性能与pickle进行了比较。HDF5花了35秒，而pickle花了190秒。因此，您可以考虑使用HDF5而不是pickle

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/33150684

复制

相似问题

问通过序列化或内存中KV存储缓存Pandas DataframeEN