我得到以下错误: File "/usr/local/lib/python2.7/dist-packages/pandas-0.14.1-py2.7-linux-x86_64.egg/pandas/io/pytables.py", line 911, in append File "/usr/local/lib/python2.7/dist-packages/pandas-0.14
如何从pandas HDFStore中检索特定列?我经常处理非常大的数据集,这些数据集太大,无法在内存中操作。我想迭代地读入csv文件,将每个块附加到HDFStore对象中,然后处理数据的子集。我读入了一个简单的csv文件,并使用以下代码将其加载到HDFStore中:chunker = pd.read_csv('cars.csv',chunk for chunk in chunker], ignore_index=True)
好的,我正在实验熊猫加载一个包含40 million+行和150+列的30 in csv文件到HDFStore。大多数列是字符串,后面跟着数字和日期。我目前只是将大约20000行的样例文件存储到HDFStore中。当我尝试从HDFStore读取表时,表被加载到内存中,内存使用量增加了~100 byg=f['df']del